RAG セキュリティとプライバシー：脅威モデルと攻撃対象範囲の正式化
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2509.20324v1発表タイプ：クロス
概要：検索拡張生成（RAG）は、大規模言語モデル（LLM）と外部文書検索を組み合わせることで、より正確で根拠のある応答を生成する自然言語処理における新たなアプローチです。RAGは幻覚の低減と事実の一貫性の向上において大きな可能性を示していますが、従来のLLMとは異なる新たなプライバシーとセキュリティの課題も生み出しています。既存の研究では、LLMが訓練データの記憶または敵対的プロンプトを通じて機密情報を漏洩させる可能性が示されており、RAGシステムはこれらの脆弱性の多くを受け継いでいます。同時に、RAGが外部知識ベースに依存することは、検索された文書の存在や内容に関する情報の漏洩、またはモデルの動作を操作するための悪意のあるコンテンツの注入の可能性など、新たな攻撃対象領域を生み出します。これらのリスクにもかかわらず、現在、RAGシステムの脅威状況を定義する正式な枠組みはありません。本論文では、文献における重要なギャップに対処するために、筆者らの知る限りでは初めての、検索拡張RAGシステムのための正式な脅威モデルを提案します。モデルコンポーネントとデータへのアクセスに基づいて、敵対者タイプの構造化された分類を導入し、現実世界の展開において深刻なプライバシーと整合性のリスクをもたらす、文書レベルのメンバーシップ推論やデータポイズニングなどの主要な脅威ベクトルを正式に定義します。正式な定義と攻撃モデルを確立することにより、本研究はRAGシステムにおけるプライバシーとセキュリティのより厳格で原理に基づいた理解のための基礎を築きます。
原文（英語）を表示
Title (EN): RAG Security and Privacy: Formalizing the Threat Model and Attack Surface
arXiv:2509.20324v1 Announce Type: cross
Abstract: Retrieval-Augmented Generation (RAG) is an emerging approach in natural language processing that combines large language models (LLMs) with external document retrieval to produce more accurate and grounded responses. While RAG has shown strong potential in reducing hallucinations and improving factual consistency, it also introduces new privacy and security challenges that differ from those faced by traditional LLMs. Existing research has demonstrated that LLMs can leak sensitive information through training data memorization or adversarial prompts, and RAG systems inherit many of these vulnerabilities. At the same time, reliance of RAG on an external knowledge base opens new attack surfaces, including the potential for leaking information about the presence or content of retrieved documents, or for injecting malicious content to manipulate model behavior. Despite these risks, there is currently no formal framework that defines the threat landscape for RAG systems. In this paper, we address a critical gap in the literature by proposing, to the best of our knowledge, the first formal threat model for retrieval-RAG systems. We introduce a structured taxonomy of adversary types based on their access to model components and data, and we formally define key threat vectors such as document-level membership inference and data poisoning, which pose serious privacy and integrity risks in real-world deployments. By establishing formal definitions and attack models, our work lays the foundation for a more rigorous and principled understanding of privacy and security in RAG systems.
Published: 2025-09-24 19:00 UTC