推論の前に理解を深める：反復要約による事前プロンプトを用いた思考連鎖の向上
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2501.04341v2掲載論文更新のお知らせ
要旨：連鎖思考（CoT）プロンプティングは大規模言語モデル（LLM）における複雑な推論能力向上のための主要な手法です。これは、LLMが最終的な回答を直接生成するのではなく、複数ステップの推論過程を示すよう促します。しかし、CoTは推論に必要な重要な情報が暗黙的であるか、欠落している場合、困難に直面します。これは、CoTが推論ステップの順序を重視する一方、必須情報の早期抽出を見落としているためです。本研究では、重要な情報が明示的に提供されていない場合のLLM推論を洗練させるための、反復要約事前プロンプティング（ISP²）と呼ばれる事前プロンプティング手法を提案します。まず、エンティティとその対応する記述を抽出して、潜在的な重要な情報ペアを形成します。次に、信頼性評価を用いてこれらのペアを評価し、ランクが最も低い2つのペアを新しいエンティティ記述にマージします。このプロセスは、一意の重要な情報ペアが得られるまで繰り返されます。最後に、そのペアと元の質問をLLMに入力して回答を生成します。広範な実験により、既存の手法と比較して7.1％の改善が示されました。従来のプロンプティングとは異なり、ISP²は事前プロンプティングによる帰納的なアプローチを採用しており、様々な推論フレームワークへの柔軟な統合を可能にします。コードはhttps://github.com/zdhgreat/ISP-2で公開しています。
原文（英語）を表示
Title (EN): Understanding Before Reasoning: Enhancing Chain-of-Thought with Iterative Summarization Pre-Prompting
arXiv:2501.04341v2 Announce Type: replace
Abstract: Chain-of-Thought (CoT) Prompting is a dominant paradigm in Large Language Models (LLMs) to enhance complex reasoning. It guides LLMs to present multi-step reasoning, rather than generating the final answer directly. However, CoT encounters difficulties when key information required for reasoning is implicit or missing. This occurs because CoT emphasizes the sequence of reasoning steps while overlooking the early extraction of essential information. We propose a pre-prompting method called Iterative Summarization Pre-Prompting (ISP^2) to refine LLM reasoning when key information is not explicitly provided. First, entities and their corresponding descriptions are extracted to form potential key information pairs. Next, we use a reliability rating to assess these pairs, then merge the two lowest-ranked pairs into a new entity description. This process is repeated until a unique key information pair is obtained. Finally, that pair, along with the original question, is fed into LLMs to produce the answer. Extensive experiments demonstrate a 7.1% improvement compared to existing methods. Unlike traditional prompting, ISP^2 adopts an inductive approach with pre-prompting, offering flexible integration into diverse reasoning frameworks. The code is available at https://github.com/zdhgreat/ISP-2.
Published: 2025-09-24 19:00 UTC