デコーダのみを用いたトランスフォーマにおける回路トレースによるグラフ推論の解明
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2509.20336v1発表種別：クロス
概要：Transformerベースの大規模言語モデル（LLM）はグラフ推論タスクにおいて高い性能を示す一方で、その内部メカニズムは十分に解明されていません。本研究では、基本的なデコーダーのみのTransformerに着目し、circuit-tracerフレームワークを用いてその推論過程を解明することで、この問題に取り組みます。このアプローチを通して、推論過程を視覚化し、パス推論と部分構造抽出タスクの両方に基づく、グラフ推論における2つのコアメカニズム、トークンマージと構造的記憶を特定しました。さらに、これらの挙動を定量化し、グラフ密度とモデルサイズがそれらにどのように影響するかを分析しました。本研究は、デコーダーのみのTransformerにおける構造推論を理解するための統一的な解釈可能性フレームワークを提供します。
原文（英語）を表示
Title (EN): Uncovering Graph Reasoning in Decoder-only Transformers with Circuit Tracing
arXiv:2509.20336v1 Announce Type: cross
Abstract: Transformer-based LLMs demonstrate strong performance on graph reasoning tasks, yet their internal mechanisms remain underexplored. To uncover these reasoning process mechanisms in a fundamental and unified view, we set the basic decoder-only transformers and explain them using the circuit-tracer framework. Through this lens, we visualize reasoning traces and identify two core mechanisms in graph reasoning: token merging and structural memorization, which underlie both path reasoning and substructure extraction tasks. We further quantify these behaviors and analyze how they are influenced by graph density and model size. Our study provides a unified interpretability framework for understanding structural reasoning in decoder-only Transformers.
Published: 2025-09-24 19:00 UTC