深層ニューラルネットワークの汎化における深さ分解に基づく視点：暗黙的データ拡張としての特徴ダイナミクス
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2509.20334v1 発表種別：新規
要約：深層ネットワークがなぜ良好に汎化するか？古典的な汎化理論とは対照的に、本研究は入力と出力だけでなく、内部特徴の進化に着目することでこの根本的な問題に取り組みます。その結果、初期チェックポイントからの浅い特徴と後期のチェックポイントからの深い特徴を組み合わせる際、予測が安定するという時間的整合性の現象が示唆されました。この安定性は、自明な収束アーチファクトではありません。これは、汎化を支える暗黙的な構造化された拡張の形態として機能します。時間的整合性は、未観測データや破損データにも及ぶ一方、意味構造が破壊された場合（例：ランダムラベル）には崩壊することを示します。統計的検定はさらに、SGDが少数の主成分方向に沿った異方性ノイズを注入し、構造化された変動性の源としての役割を強化することを明らかにしました。これらの知見を総合すると、特徴ダイナミクスと汎化を結びつける概念的視点を示唆しており、時間的特徴進化を測定するための実用的な代替手段に関する今後の研究への指針となります。
原文（英語）を表示
Title (EN): Feature Dynamics as Implicit Data Augmentation: A Depth-Decomposed View on Deep Neural Network Generalization
arXiv:2509.20334v1 Announce Type: new
Abstract: Why do deep networks generalize well? In contrast to classical generalization theory, we approach this fundamental question by examining not only inputs and outputs, but the evolution of internal features. Our study suggests a phenomenon of temporal consistency that predictions remain stable when shallow features from earlier checkpoints combine with deeper features from later ones. This stability is not a trivial convergence artifact. It acts as a form of implicit, structured augmentation that supports generalization. We show that temporal consistency extends to unseen and corrupted data, but collapses when semantic structure is destroyed (e.g., random labels). Statistical tests further reveal that SGD injects anisotropic noise aligned with a few principal directions, reinforcing its role as a source of structured variability. Together, these findings suggest a conceptual perspective that links feature dynamics to generalization, pointing toward future work on practical surrogates for measuring temporal feature evolution.
Published: 2025-09-24 19:00 UTC