深層学習の学習ダイナミクス ― 深層ニューラルネットワークの力学解析
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2509.19554v1 発表種別: cross
要旨: 本論文は、力学解析に着想を得た手法を用いて、深層学習モデルが時間とともにどのように学習するかを探求する。具体的には、モデルの学習過程に焦点を当て、ある学習事例が学習中に他の事例にどのように影響を与えるかを、力が物体を動かす様子を分析するように考察する。この影響を、二つの事例間の類似性と、更新力の強さの二つの要素に分解する。この枠組みは、様々な現実システムにおけるモデルの挙動を幅広く理解するのに役立つ。例えば、特定の事例が非自明な学習経路を持つ理由、LLMファインチューニング手法が有効である場合とそうでない場合の理由、単純で構造化されたパターンの方が容易に学習される理由などを説明する。本手法を様々な学習タスクに適用し、モデル学習の改善に向けた新たな戦略を明らかにする。本手法はまだ発展途上であるが、モデルの挙動を体系的に解釈するための新たな方法を提供する。
原文（英語）を表示
Title (EN): Learning Dynamics of Deep Learning — Force Analysis of Deep Neural Networks
arXiv:2509.19554v1 Announce Type: cross
Abstract: This thesis explores how deep learning models learn over time, using ideas inspired by force analysis. Specifically, we zoom in on the model’s training procedure to see how one training example affects another during learning, like analyzing how forces move objects. We break this influence into two parts: how similar the two examples are, and how strong the updating force is. This framework helps us understand a wide range of the model’s behaviors in different real systems. For example, it explains why certain examples have non-trivial learning paths, why (and why not) some LLM finetuning methods work, and why simpler, more structured patterns tend to be learned more easily. We apply this approach to various learning tasks and uncover new strategies for improving model training. While the method is still developing, it offers a new way to interpret models’ behaviors systematically.
Published: 2025-09-24 19:00 UTC