学習カーネルを用いたスペクトルアルゴリズムの整合性敏感ミニマックスレート
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2509.20294v1 新規発表
要旨：データからカーネルを学習する設定におけるスペクトルアルゴリズムを研究する。信号、スペクトル、ノイズレベルσ²に共同依存する、アライメントに敏感な複雑度尺度である有効スパン次元（ESD）を導入する。ESDは、固有値減衰条件やソース条件を必要とせずに、任意のカーネルと信号に対してwell-definedである。ESDがK以下のシーケンスモデルに対し、ミニマックス過剰リスクはσ²Kとしてスケールすることを証明する。さらに、過剰パラメータ化勾配流を分析し、それがESDを低減できることを証明する。この発見は、適応的特徴学習とスペクトルアルゴリズムの汎化における証明可能な改善との関連性を確立する。線形モデルとRKHS回帰にESDフレームワークを拡張することにより、その汎用性を示し、数値実験で理論を裏付ける。このフレームワークは、従来の固定カーネル理論を超えた汎化に関する新しい視点を提供する。
原文（英語）を表示
Title (EN): Alignment-Sensitive Minimax Rates for Spectral Algorithms with Learned Kernels
arXiv:2509.20294v1 Announce Type: new
Abstract: We study spectral algorithms in the setting where kernels are learned from data. We introduce the effective span dimension (ESD), an alignment-sensitive complexity measure that depends jointly on the signal, spectrum, and noise level $\sigma^2$. The ESD is well-defined for arbitrary kernels and signals without requiring eigen-decay conditions or source conditions. We prove that for sequence models whose ESD is at most $K$, the minimax excess risk scales as $\sigma^2 K$. Furthermore, we analyze over-parameterized gradient flow and prove that it can reduce the ESD. This finding establishes a connection between adaptive feature learning and provable improvements in generalization of spectral algorithms. We demonstrate the generality of the ESD framework by extending it to linear models and RKHS regression, and we support the theory with numerical experiments. This framework provides a novel perspective on generalization beyond traditional fixed-kernel theories.
Published: 2025-09-24 19:00 UTC