グラフ・トランスフォーマーの汎化能力における分布外一般化能力の探求
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2506.20575v2 発表種別：更新
要旨：グラフ上の深層学習は、ソーシャルネットワーク、生物物理学、交通ネットワーク、レコメンデーションシステムなど、数多くのアプリケーションにおいて著しい成功を収めている。しかしながら、現在の方法は、訓練データとテストデータが同じ分布を共有するという仮定に依存することが多く、これは現実世界のシナリオではめったに満たされない条件である。グラフ・トランスフォーマー（GT）バックボーンは、複数のインディストリビューション（ID）ベンチマークにおいて、従来のメッセージパッシングニューラルネットワーク（MPNN）を凌駕するようになったが、分布シフト下での有効性はほとんど解明されていない。本研究では、グラフニューラルネットワークにおけるアウトオブディストリビューション（OOD）汎化の課題に取り組み、特にバックボーンアーキテクチャの影響に焦点を当てる。OOD設定においてGTおよびハイブリッドバックボーンを体系的に評価し、MPNNと比較する。そのため、いくつかの主要なドメイン汎化（DG）アルゴリズムをGTで使用できるように調整し、様々な分布シフトをテストするように設計されたベンチマークでその性能を評価する。その結果、GTおよびハイブリッドGT-MPNNバックボーンは、特殊なDGアルゴリズムを使用しなくても（6つのベンチマークのうち4つで）、MPNNと比較してより強力な汎化能力を示すことが明らかになった。さらに、IDとOODテストデータセット全体のクラスタリング構造を比較し、特にドメインアラインメントとクラス分離を調べる、新規なポストトレーニング分析手法を提案する。この手法はモデル非依存な設計であることを強調し、GTおよびMPNNバックボーンの両方に貴重な洞察を与え、グラフ学習を超えたより広範なDGアプリケーションに適しており、標準的な精度指標を超えた汎化能力に関するより深い視点を提供する。これらの知見は、堅牢な現実世界のグラフ学習のためのグラフ・トランスフォーマーの可能性を示し、OOD汎化に関する今後の研究の新たな方向性を示している。
原文（英語）を表示
Title (EN): Exploring Graph-Transformer Out-of-Distribution Generalization Abilities
arXiv:2506.20575v2 Announce Type: replace
Abstract: Deep learning on graphs has shown remarkable success across numerous applications, including social networks, bio-physics, traffic networks, and recommendation systems. Regardless of their successes, current methods frequently depend on the assumption that training and testing data share the same distribution, a condition rarely met in real-world scenarios. While graph-transformer (GT) backbones have recently outperformed traditional message-passing neural networks (MPNNs) in multiple in-distribution (ID) benchmarks, their effectiveness under distribution shifts remains largely unexplored. In this work, we address the challenge of out-of-distribution (OOD) generalization for graph neural networks, with a special focus on the impact of backbone architecture. We systematically evaluate GT and hybrid backbones in OOD settings and compare them to MPNNs. To do so, we adapt several leading domain generalization (DG) algorithms to work with GTs and assess their performance on a benchmark designed to test a variety of distribution shifts. Our results reveal that GT and hybrid GT-MPNN backbones demonstrate stronger generalization ability compared to MPNNs, even without specialized DG algorithms (on four out of six benchmarks). Additionally, we propose a novel post-training analysis approach that compares the clustering structure of the entire ID and OOD test datasets, specifically examining domain alignment and class separation. Highlighting its model-agnostic design, the method yielded valuable insights into both GT and MPNN backbones and appears well suited for broader DG applications beyond graph learning, offering a deeper perspective on generalization abilities that goes beyond standard accuracy metrics. Together, our findings highlight the promise of graph-transformers for robust, real-world graph learning and set a new direction for future research in OOD generalization.
Published: 2025-09-24 19:00 UTC