ResNetベースCLIPのニューロン-アテンション分解による解釈
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2509.19943v1発表タイプ：クロス
要旨：本稿では、CLIP-ResNetにおけるニューロンの解釈のための新規手法を提案する。これは、出力へのニューロンの寄与を個々の計算パスに分解することで実現される。具体的には、CLIPのアテンション・プーリング層の後続するアテンションヘッドとのニューロンの全てのペアワイズな組み合わせを分析する。これらのニューロン・ヘッドペアは、CLIP-ResNetの画像テキスト埋め込み空間における単一の方向で近似できることを見出した。この知見を活用し、各ニューロン・ヘッドペアをテキストと関連付けることで解釈を行う。さらに、出力値への寄与が有意なニューロン・ヘッドペアはスパースな集合であり、一部のニューロン・ヘッドペアは多義的でありながら、対応するニューロンの部分概念を表していることを発見した。これらの知見を2つのアプリケーションに適用する。第一に、ペアを用いた訓練不要のセマンティックセグメンテーションを行い、CLIP-ResNetに関する従来手法を凌駕する性能を実現した。第二に、ニューロン・ヘッドペアの寄与を利用して、データセット分布シフトを監視する。本研究の結果は、ニューラルネットワークにおける個々の計算パスを調べることで解釈可能なユニットが明らかになり、それらのユニットがダウンストリームタスクに利用できることを示している。
原文（英語）を表示
Title (EN): Interpreting ResNet-based CLIP via Neuron-Attention Decomposition
arXiv:2509.19943v1 Announce Type: cross
Abstract: We present a novel technique for interpreting the neurons in CLIP-ResNet by decomposing their contributions to the output into individual computation paths. More specifically, we analyze all pairwise combinations of neurons and the following attention heads of CLIP’s attention-pooling layer. We find that these neuron-head pairs can be approximated by a single direction in CLIP-ResNet’s image-text embedding space. Leveraging this insight, we interpret each neuron-head pair by associating it with text. Additionally, we find that only a sparse set of the neuron-head pairs have a significant contribution to the output value, and that some neuron-head pairs, while polysemantic, represent sub-concepts of their corresponding neurons. We use these observations for two applications. First, we employ the pairs for training-free semantic segmentation, outperforming previous methods for CLIP-ResNet. Second, we utilize the contributions of neuron-head pairs to monitor dataset distribution shifts. Our results demonstrate that examining individual computation paths in neural networks uncovers interpretable units, and that such units can be utilized for downstream tasks.
Published: 2025-09-24 19:00 UTC