Steinの不偏リスク推定とHyvärinenのスコア整合
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2502.20123v2 発表種別：差し替え
概要：ガウスノイズで汚染された観測信号の集合が与えられた場合、それらを最適にノイズ除去するにはどうすればよいか？この基本的な問題は、経験ベイズと生成モデルの両方で生じる。経験ベイズでは、非パラメトリック最大尤度推定（NPMLE）が主要なアプローチである一方、生成モデルでは、スコア整合（SM）法が非常に成功を収めている。本稿の設定において、Hyvärinenの陰的SMは、統計学における別の古典的な考え方であるSteinの不偏リスク推定（SURE）と等価である。SURE最小化を見直すことで、初めて、等分散ノイズを持つ古典的な経験ベイズ設定において、SUREが回帰のほぼパラメトリックな収束速度を達成することを確立する。また、一般的に研究されている誤指定モデルにおいて、SUREトレーニングがオラクルノイズ除去器への高速な収束速度を達成できることを証明する。対照的に、NPMLEは、信号分布のクラスの誤指定下では、オラクルノイズ除去器に収束しない可能性さえある。Opportunity Atlasにおける経済モビリティの推定への応用など、異分散性や付加情報を含む設定における本手法の実用的な実装方法を示す。経験的結果は、誤指定下ではSUREトレーニングがNPMLEよりも優れた性能を示すことを実証している。これらの知見を総合的に見ると、SURE/SMは、理論と実践の両方において、経験ベイズ問題に対するNPMLEの強力な代替手段となる。
原文（英語）を表示
Title (EN): Stein’s unbiased risk estimate and Hyv\”arinen’s score matching
arXiv:2502.20123v2 Announce Type: replace-cross
Abstract: Given a collection of observed signals corrupted with Gaussian noise, how can we learn to optimally denoise them? This fundamental problem arises in both empirical Bayes and generative modeling. In empirical Bayes, the predominant approach is via nonparametric maximum likelihood estimation (NPMLE), while in generative modeling, score matching (SM) methods have proven very successful. In our setting, Hyv\”arinen’s implicit SM is equivalent to another classical idea from statistics — Stein’s Unbiased Risk Estimate (SURE). Revisiting SURE minimization, we establish, for the first time, that SURE achieves nearly parametric rates of convergence of the regret in the classical empirical Bayes setting with homoscedastic noise. We also prove that SURE-training can achieve fast rates of convergence to the oracle denoiser in a commonly studied misspecified model. In contrast, the NPMLE may not even converge to the oracle denoiser under misspecification of the class of signal distributions. We show how to practically implement our method in settings involving heteroscedasticity and side-information, such as in an application to the estimation of economic mobility in the Opportunity Atlas. Our empirical results demonstrate the superior performance of SURE-training over NPMLE under misspecification. Collectively, our findings advance SURE/SM as a strong alternative to the NPMLE for empirical Bayes problems in both theory and practice.
Published: 2025-09-24 19:00 UTC