ブラックボックス介入:人間神経回路網相互理解増強のための概念ボトルネックモデル

ブラックボックス介入:人間神経回路網相互理解増強のための概念ボトルネックモデル

なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。

ソースを読む(export.arxiv.org)

arXiv:2506.22803v3 発表種別:差し替え

概要:深層学習の近年の進歩により、層が深くパラメータ数の多い複雑なモデルが増加し、解釈性が低下し、その意思決定を理解することが困難になっている。多くの手法がブラックボックス推論を説明するものの、効果的な介入策を欠いているか、モデル自体を修正せずにサンプルレベルでのみ動作するものが多い。これに対処するため、我々は、人間とニューラルネットワークの相互理解を向上させるための概念ボトルネックモデル(CBM-HNMU: Concept Bottleneck Model for Enhancing Human-Neural Network Mutual Understanding)を提案する。CBM-HNMUは、解釈可能な枠組みである概念ボトルネックモデル(CBM)を活用してブラックボックス推論を近似し、概念的な理解を伝える。有害な概念は、グローバル勾配寄与に基づいて自動的に特定され、改良される(削除/置換される)。修正されたCBMは、修正された知識をブラックボックスモデルに蒸留し、解釈性と精度を共に向上させる。Flower-102、CIFAR-10、CIFAR-100、FGVC-Aircraft、CUB-200において、様々なCNNおよびTransformerベースのモデルでCBM-HNMUを評価し、最大2.64%の精度向上と平均精度の最大1.03%の向上を達成した。ソースコードはhttps://github.com/XiGuaBo/CBM-HNMUで公開している。

原文(英語)を表示

Title (EN): Intervening in Black Box: Concept Bottleneck Model for Enhancing Human Neural Network Mutual Understanding

arXiv:2506.22803v3 Announce Type: replace-cross
Abstract: Recent advances in deep learning have led to increasingly complex models with deeper layers and more parameters, reducing interpretability and making their decisions harder to understand. While many methods explain black-box reasoning, most lack effective interventions or only operate at sample-level without modifying the model itself. To address this, we propose the Concept Bottleneck Model for Enhancing Human-Neural Network Mutual Understanding (CBM-HNMU). CBM-HNMU leverages the Concept Bottleneck Model (CBM) as an interpretable framework to approximate black-box reasoning and communicate conceptual understanding. Detrimental concepts are automatically identified and refined (removed/replaced) based on global gradient contributions. The modified CBM then distills corrected knowledge back into the black-box model, enhancing both interpretability and accuracy. We evaluate CBM-HNMU on various CNN and transformer-based models across Flower-102, CIFAR-10, CIFAR-100, FGVC-Aircraft, and CUB-200, achieving a maximum accuracy improvement of 2.64% and a maximum increase in average accuracy across 1.03%. Source code is available at: https://github.com/XiGuaBo/CBM-HNMU.

Published: 2025-09-24 19:00 UTC


コメントする