Manifold維持：幾何学的ノイズ注入
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2509.20201v1発表タイプ：新規
概要：訓練中に入力に摂動を加えることで、学習された関数の勾配が暗黙的に正則化され、より滑らかなモデルとなり、汎化性能が向上することが示されている。しかし、これまでの研究では、データの基礎となる構造を考慮せずに、主に入力空間への環境ノイズの付加が検討されてきた。本研究では、入力空間が占める低次元多様体を考慮した、幾何学的意識を持った入力ノイズを追加するいくつかの手法を提案する。まず、環境ガウスノイズを多様体の接空間へ射影する。第二段階として、ノイズサンプルを関連する測地線曲線を用いて多様体上にマッピングする。また、多様体上をランダムステップで移動するブラウン運動ノイズも検討する。幾何学的意識を持ったノイズは、高曲率多様体において汎化性能とハイパーパラメータ選択に対する堅牢性の向上をもたらし、単純な多様体上ではノイズなしの訓練と同等以上の性能を示す。提案手法は、学習されたデータ多様体にも拡張できる。
原文（英語）を表示
Title (EN): Staying on the Manifold: Geometry-Aware Noise Injection
arXiv:2509.20201v1 Announce Type: new
Abstract: It has been shown that perturbing the input during training implicitly regularises the gradient of the learnt function, leading to smoother models and enhancing generalisation. However, previous research mostly considered the addition of ambient noise in the input space, without considering the underlying structure of the data. In this work, we propose several methods of adding geometry-aware input noise that accounts for the lower dimensional manifold the input space inhabits. We start by projecting ambient Gaussian noise onto the tangent space of the manifold. In a second step, the noise sample is mapped on the manifold via the associated geodesic curve. We also consider Brownian motion noise, which moves in random steps along the manifold. We show that geometry-aware noise leads to improved generalization and robustness to hyperparameter selection on highly curved manifolds, while performing at least as well as training without noise on simpler manifolds. Our proposed framework extends to learned data manifolds.
Published: 2025-09-24 19:00 UTC