LLMベースチャットボットにおける知識と行動の乖離
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2509.20004v1発表タイプ：クロス
要旨：大規模言語モデルに基づく人工会話エージェント（ChatGPTなど）はあらゆる質問に回答し、多くの場合、その回答は正しい。この能力のみを根拠に、それらに知識を帰属させることができるかもしれない。しかし、これらのモデルは、この知識を自身の会話行動の基礎として用いているのだろうか？本稿では、そうではないと主張し、この不一致を「乖離」と呼ぶ。さらに、この乖離は、会話型チャットボットの基礎となるLLMのデータ量や訓練量の増加によって解消されない、本質的なものであると主張する。その理由は、LLMの訓練に使用される中核技術が、我々が求める接続の確立を許容しないからであると主張する。この乖離は、LLMの能力に関する本質的な限界を反映しており、幻覚の発生源を説明する。さらに、この乖離の倫理的な側面（倫理的な会話知識と倫理的な会話行動が一致しないこと）についても考察する。この分野では、チャットボットの行動に影響を与えるためのいくつかの追加技術が研究者によって考案されている。これらの技術は、乖離を解決するどころか、悪化させる可能性があることを論じる。
原文（英語）を表示
Title (EN): The Knowledge-Behaviour Disconnect in LLM-based Chatbots
arXiv:2509.20004v1 Announce Type: cross
Abstract: Large language model-based artificial conversational agents (like ChatGPT) give answers to all kinds of questions, and often enough these answers are correct. Just on the basis of that capacity alone, we may attribute knowledge to them. But do these models use this knowledge as a basis for their own conversational behaviour? I argue this is not the case, and I will refer to this failure as a `disconnect’. I further argue this disconnect is fundamental in the sense that with more data and more training of the LLM on which a conversational chatbot is based, it will not disappear. The reason is, as I will claim, that the core technique used to train LLMs does not allow for the establishment of the connection we are after. The disconnect reflects a fundamental limitation on the capacities of LLMs, and explains the source of hallucinations. I will furthermore consider the ethical version of the disconnect (ethical conversational knowledge not being aligned with ethical conversational behaviour), since in this domain researchers have come up with several additional techniques to influence a chatbot’s behaviour. I will discuss how these techniques do nothing to solve the disconnect and can make it worse.
Published: 2025-09-24 19:00 UTC