スパースニューラルネットワークの回復保証
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2509.20323v1 発表種別：新規
概要：ReLUニューラルネットワークにおけるスパースリカバリの最初の保証を証明する。ここで、スパースなネットワーク重みがリカバリされる信号を構成する。具体的には、単純な反復ハード閾値アルゴリズムがこれらの重みを正確にリカバリする、二層のスカラー出力ネットワークにおけるスパースなネットワーク重みの構造特性を研究する。これは、非ゼロ重みの数に線形に増加するメモリを使用する。この理論的結果を、スパースな埋め込みMLP、MNIST分類、および暗黙的ニューラル表現のリカバリに関する単純な実験で検証する。実験的に、反復マグニチュードプルーニングに基づく高性能だがメモリ効率の悪いベースラインと比較して、同等またはそれを超える性能を見出す。
原文（英語）を表示
Title (EN): A Recovery Guarantee for Sparse Neural Networks
arXiv:2509.20323v1 Announce Type: new
Abstract: We prove the first guarantees of sparse recovery for ReLU neural networks, where the sparse network weights constitute the signal to be recovered. Specifically, we study structural properties of the sparse network weights for two-layer, scalar-output networks under which a simple iterative hard thresholding algorithm recovers these weights exactly, using memory that grows linearly in the number of nonzero weights. We validate this theoretical result with simple experiments on recovery of sparse planted MLPs, MNIST classification, and implicit neural representations. Experimentally, we find performance that is competitive with, and often exceeds, a high-performing but memory-inefficient baseline based on iterative magnitude pruning.
Published: 2025-09-24 19:00 UTC