様々なカバレッジ下におけるLLM推論におけるバイアスの定量化
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2509.20278v1 発表種別：新規
概要：大規模言語モデル（LLM）の推論は、様々な分野における問題解決のための強力なツールとして長く認識されており、専門家以外の人々にも貴重な助言を提供する。しかし、特にプロンプト設計に起因するその限界は、十分に探求されていない。利用者が意図せずとも偏った、あるいは不完全なプロンプトを提供することがあるため、LLMは誤解を受け、信頼性を損ない、リスクを生み出す可能性がある。我々はこの脆弱性をInstruction Boundaryと呼ぶ。この現象を調査するため、我々はそれを8つの具体的な側面に分解し、3種類（完全、冗長、不十分）のプロンプトから生じるバイアスを測定するフレームワーク、BiasDetectorを紹介する。いくつかの主流LLMを評価した結果、高い表面上の精度にも関わらず、プロンプトの網羅性の直接的な結果として、多くの下流タスクにおいて相当なバイアスが依然として存在することが分かった。我々の経験的研究は、LLM推論の信頼性を依然として大幅に向上させることができることを確認している。これらのバイアスの実用的な影響を分析し、軽減戦略の概要を示す。我々の知見は、開発者がバイアスに対処し、利用者が注意深く選択肢を作成する必要性を強調している。
原文（英語）を表示
Title (EN): Instruction Boundary: Quantifying Biases in LLM Reasoning under Various Coverage
arXiv:2509.20278v1 Announce Type: new
Abstract: Large-language-model (LLM) reasoning has long been regarded as a powerful tool for problem solving across domains, providing non-experts with valuable advice. However, their limitations – especially those stemming from prompt design – remain underexplored. Because users may supply biased or incomplete prompts – often unintentionally – LLMs can be misled, undermining reliability and creating risks. We refer to this vulnerability as the Instruction Boundary. To investigate the phenomenon, we distill it into eight concrete facets and introduce BiasDetector, a framework that measures biases arising from three instruction types: complete, redundant, and insufficient. We evaluate several mainstream LLMs and find that, despite high headline accuracy, substantial biases persist in many downstream tasks as a direct consequence of prompt coverage. Our empirical study confirms that LLM reasoning reliability can still be significantly improved. We analyze the practical impact of these biases and outline mitigation strategies. Our findings underscore the need for developers to tackle biases and for users to craft options carefully.
Published: 2025-09-24 19:00 UTC