金融におけるプライバシー保護を目的としたLLM適応のためのコンテキストマスクメタプロンプティング
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2407.18920v2発表種類：差し替え
要旨：金融等の機微な領域における大規模言語モデル（LLM）の依存度増大に伴い、プライバシー保護と規制遵守のための堅牢な手法が不可欠となっている。本論文は、独自の機密情報をLLMに公開することなく、ハードプロンプトを最適化するための反復的なメタプロンプティング手法を提案する。フィーダーと伝播法を含む新規の再生プロセスを通じて、プロンプトの有効性の著しい向上を示す。金融業務の代理として機能する公開データセット（SQuADによる抽出型金融Q&A、CNN/DailyMailによるニュース要約、SAMSumによる顧客インタラクション要約）を用いた評価において、GPT-3.5 Turboを用いた本手法は、質問応答におけるROUGE-L F1スコアを103.87%向上させた。本研究は、重要なプライバシーと監査可能性基準を維持しながら、LLMを金融アプリケーションに適用するための実際的で低コストな戦略を示し、金融における生成AIの進化する状況においてその関連性の高い事例を示している。
原文（英語）を表示
Title (EN): Context-Masked Meta-Prompting for Privacy-Preserving LLM Adaptation in Finance
arXiv:2407.18920v2 Announce Type: replace
Abstract: The increasing reliance on Large Language Models (LLMs) in sensitive domains like finance necessitates robust methods for privacy preservation and regulatory compliance. This paper presents an iterative meta-prompting methodology designed to optimise hard prompts without exposing proprietary or confidential context to the LLM. Through a novel regeneration process involving feeder and propagation methods, we demonstrate significant improvements in prompt efficacy. Evaluated on public datasets serving as proxies for financial tasks such as SQuAD for extractive financial Q&A, CNN/DailyMail for news summarisation, and SAMSum for client interaction summarisation, our approach, utilising GPT-3.5 Turbo, achieved a 103.87% improvement in ROUGE-L F1 for question answering. This work highlights a practical, low-cost strategy for adapting LLMs to financial applications while upholding critical privacy and auditability standards, offering a compelling case for its relevance in the evolving landscape of generative AI in finance.
Published: 2025-09-24 19:00 UTC