時空間知識の統合に関する研究：大気時間系列予測への軽量アプローチ
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2408.09695v2発表タイプ：置換クロス
要約：Transformerは、大域的な時空間相関を捉える能力から、大気時間系列予測（ATSF）において注目を集めている。しかし、その複雑なアーキテクチャは過剰なパラメータ数と長い学習時間を招き、大規模予測へのスケーラビリティを制限している。本論文では、大気力学の理論的観点からATSFを再検討し、重要な知見を明らかにする：時空間位置埋め込み（STPE）は、Attention機構なしでも、時空間相関を本質的にモデル化できる。その有効性は、大気力学と本質的に関連する地理座標と時間的特徴の統合に由来する。これに基づき、我々はTransformer層の代わりにSTPEとMLPアーキテクチャのみを用いた、大気時間系列予測のための軽量モデル、STELLA（Spatial-Temporal knowledge Embedded Lightweight modeL）を提案する。STELLAは、1万パラメータと1時間の学習時間で、5つのデータセットにおいて他の高度な手法と比較して優れた性能を達成する。本論文は、複雑なアーキテクチャよりも時空間知識の統合の有効性を強調し、ATSFのための新しい知見を提供する。コードはhttps://github.com/GestaltCogTeam/STELLAで公開されている。
原文（英語）を表示
Title (EN): On the Integration of Spatial-Temporal Knowledge: A Lightweight Approach to Atmospheric Time Series Forecasting
arXiv:2408.09695v2 Announce Type: replace-cross
Abstract: Transformers have gained attention in atmospheric time series forecasting (ATSF) for their ability to capture global spatial-temporal correlations. However, their complex architectures lead to excessive parameter counts and extended training times, limiting their scalability to large-scale forecasting. In this paper, we revisit ATSF from a theoretical perspective of atmospheric dynamics and uncover a key insight: spatial-temporal position embedding (STPE) can inherently model spatial-temporal correlations even without attention mechanisms. Its effectiveness arises from the integration of geographical coordinates and temporal features, which are intrinsically linked to atmospheric dynamics. Based on this, we propose STELLA, a Spatial-Temporal knowledge Embedded Lightweight modeL for ASTF, utilizing only STPE and an MLP architecture in place of Transformer layers. With 10k parameters and one hour of training, STELLA achieves superior performance on five datasets compared to other advanced methods. The paper emphasizes the effectiveness of spatial-temporal knowledge integration over complex architectures, providing novel insights for ATSF. The code is available at https://github.com/GestaltCogTeam/STELLA.
Published: 2025-09-24 19:00 UTC