金融におけるプライバシー保護を目的としたLLM適応のためのコンテキストマスク型メタプロンプティング
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2407.18920v2発表タイプ:置換
概要:金融など機微な分野における大規模言語モデル（LLM）への依存度増大に伴い、プライバシー保護と規制遵守のための堅牢な手法が不可欠となっている。本論文では、独自の機密情報を含むコンテキストをLLMに公開することなく、ハードプロンプトを最適化するための反復的なメタプロンプティング手法を提案する。フィーダー法と伝播法を含む新規な再生プロセスを通じて、プロンプトの有効性の著しい向上を実証する。抽出型金融Q&AのためのSQuAD、ニュース要約のためのCNN/DailyMail、顧客インタラクション要約のためのSAMSumといった金融業務の代理となる公開データセットを用いた評価において、GPT-3.5 Turboを用いた本手法は、質問応答におけるROUGE-L F1スコアを103.87%向上させた。本研究は、重要なプライバシーと監査可能性の基準を維持しつつ、LLMを金融用途に適応させるための実際的で低コストな戦略を強調しており、金融における生成AIの進化する状況においてその関連性を強く示唆している。
原文（英語）を表示
Title (EN): Context-Masked Meta-Prompting for Privacy-Preserving LLM Adaptation in Finance
arXiv:2407.18920v2 Announce Type: replace
Abstract: The increasing reliance on Large Language Models (LLMs) in sensitive domains like finance necessitates robust methods for privacy preservation and regulatory compliance. This paper presents an iterative meta-prompting methodology designed to optimise hard prompts without exposing proprietary or confidential context to the LLM. Through a novel regeneration process involving feeder and propagation methods, we demonstrate significant improvements in prompt efficacy. Evaluated on public datasets serving as proxies for financial tasks such as SQuAD for extractive financial Q&A, CNN/DailyMail for news summarisation, and SAMSum for client interaction summarisation, our approach, utilising GPT-3.5 Turbo, achieved a 103.87% improvement in ROUGE-L F1 for question answering. This work highlights a practical, low-cost strategy for adapting LLMs to financial applications while upholding critical privacy and auditability standards, offering a compelling case for its relevance in the evolving landscape of generative AI in finance.
Published: 2025-09-24 19:00 UTC