HoT: 入力データからの裏付けとなる事実を参照するための強調された思考連鎖
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2503.02003v4 発表種別: 置換
要旨: 大規模言語モデル (LLM) の弱点として、事実とは異なる言明を生み出す「幻覚」傾向が挙げられる。事実と虚偽の言明が混在する応答は、人間が検証し、正確に基づいて意思決定を行う上で課題となる。この問題に対処するため、本稿ではHighlighted Chain-of-Thought Prompting (HoT) を提案する。これは、LLMがクエリに含まれる事実を裏付けるXMLタグ付きの応答を生成する手法である。すなわち、入力された質問に対して、LLMはまずXMLタグを追加して主要な事実を強調表示するように質問を再フォーマットし、次に、入力から参照された事実を強調表示した応答を生成する。興味深いことに、少ショット設定において、HoTは算術、読解、論理推論など17種類の幅広いタスクにおいて、従来のChain of Thought Prompting (CoT) を上回る性能を示した。LLMの応答を人間に検証させる実験では、強調表示は時間制限のある参加者によるLLMの正誤の正確かつ効率的な認識に役立った。しかし驚くべきことに、LLMが誤っている場合、HoTは利用者に回答が正しいと思わせる傾向が見られた。
原文（英語）を表示
Title (EN): HoT: Highlighted Chain of Thought for Referencing Supporting Facts from Inputs
arXiv:2503.02003v4 Announce Type: replace
Abstract: An Achilles heel of Large Language Models (LLMs) is their tendency to hallucinate non-factual statements. A response mixed of factual and non-factual statements poses a challenge for humans to verify and accurately base their decisions on. To combat this problem, we propose Highlighted Chain-of-Thought Prompting (HoT), a technique for prompting LLMs to generate responses with XML tags that ground facts to those provided in the query. That is, given an input question, LLMs would first re-format the question to add XML tags highlighting key facts, and then, generate a response with highlights over the facts referenced from the input. Interestingly, in few-shot settings, HoT outperforms vanilla chain of thought prompting (CoT) on a wide range of 17 tasks from arithmetic, reading comprehension to logical reasoning. When asking humans to verify LLM responses, highlights help time-limited participants to more accurately and efficiently recognize when LLMs are correct. Yet, surprisingly, when LLMs are wrong, HoTs tend to make users believe that an answer is correct.
Published: 2025-09-24 19:00 UTC