LLMの自己矛盾性の推定
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2509.19489v1 発表種別：新規
概要：大規模言語モデル（LLM）に対し、システムは同一プロンプトを繰り返し入力し、応答を集約することで信頼性を向上させることがしばしばある。本短報では、LLMの自己整合性の推定量とその推定量が固定された計算予算$B=mn$（$m$はタスク分布からサンプリングされたプロンプトの数、$n$はプロンプトごとのLLM呼び出しの繰り返し回数）の下で生じるトレードオフを分析する。その結果、おおよそ$m,n\propto\sqrt{B}$となる分割が有利となることを示す。
原文（英語）を表示
Title (EN): Estimating the Self-Consistency of LLMs
arXiv:2509.19489v1 Announce Type: new
Abstract: Systems often repeat the same prompt to large language models (LLMs) and aggregate responses to improve reliability. This short note analyzes an estimator of the self-consistency of LLMs and the tradeoffs it induces under a fixed compute budget $B=mn$, where $m$ is the number of prompts sampled from the task distribution and $n$ is the number of repeated LLM calls per prompt; the resulting analysis favors a rough split $m,n\propto\sqrt{B}$.
Published: 2025-09-24 19:00 UTC