DeNOTS：時系列データのための安定深層ニューラル常微分方程式
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2408.08055v4 発表種別: replace-cross
概要：Neural CDEは、不規則な時系列の経時変化を処理する自然な方法を提供する。これらのシステムにおける関数評価回数（NFE）は、従来のニューラルネットワークにおける層数（深さ）に相当する。通常、ソルバーの許容誤差によって制御される：許容誤差が低いほど数値精度が高くなり、より多くの積分ステップが必要となる。しかし、許容誤差を下げるだけでは、モデルの表現力を十分に高めることができない。本稿では、NFEを増やし、モデルを「深く」する簡潔かつ効果的な代替手段として、積分時間範囲のスケーリングを提案する。積分区間の増加は、従来のベクトル場において制御不能な成長を引き起こすため、負帰還（NF）によるダイナミクス安定化手法も提案する。これは、柔軟性を制限することなく、安定性を証明可能にする。また、ガウス過程理論を用いたNeural ODEリスクの理論的限界値を示すことで、堅牢性も示唆する。4つの公開データセットを用いた実験により、提案手法DeNOTSは、最近のNeural RDEや状態空間モデルを含む既存の手法を上回り、最大20%の指標向上を達成することを示す。DeNOTSは、表現力、安定性、堅牢性を兼ね備え、連続時間領域における信頼性の高いモデリングを可能にする。
原文（英語）を表示
Title (EN): DeNOTS: Stable Deep Neural ODEs for Time Series
arXiv:2408.08055v4 Announce Type: replace-cross
Abstract: Neural CDEs provide a natural way to process the temporal evolution of irregular time series. The number of function evaluations (NFE) is these systems’ natural analog of depth (the number of layers in traditional neural networks). It is usually regulated via solver error tolerance: lower tolerance means higher numerical precision, requiring more integration steps. However, lowering tolerances does not adequately increase the models’ expressiveness. We propose a simple yet effective alternative: scaling the integration time horizon to increase NFEs and “deepen“ the model. Increasing the integration interval causes uncontrollable growth in conventional vector fields, so we also propose a way to stabilize the dynamics via Negative Feedback (NF). It ensures provable stability without constraining flexibility. It also implies robustness: we provide theoretical bounds for Neural ODE risk using Gaussian process theory. Experiments on four open datasets demonstrate that our method, DeNOTS, outperforms existing approaches~ — ~including recent Neural RDEs and state space models,~ — ~achieving up to $20\%$ improvement in metrics. DeNOTS combines expressiveness, stability, and robustness, enabling reliable modelling in continuous-time domains.
Published: 2025-09-24 19:00 UTC