Pi-Transformer：時系列異常検知のための物理情報に基づくアテンション機構
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2509.19985v1発表、新規。
要旨：多変量時系列における異常は、孤立した外れ値よりも、時間的コンテキストとチャネル間の協調から生じる場合が多い。本稿では、2つのアテンションパスウェイを持つ物理情報に基づくTransformer、Pi-Transformerを提案する。1つはデータ駆動型の系列アテンション、もう1つは尺度関連の自己相似性や位相同期などの時間不変量を符号化する滑らかに変化する事前アテンションである。事前アテンションは、再構成誤差を較正する安定した基準として機能する。訓練時には、再構成目的関数と、2つのアテンション間の合意を促しつつ、意味のある違いを維持する発散項を組み合わせる。事前アテンションは滑らかに変化するように正則化され、データセットレベルの統計量に対して軽く蒸留される。推論時には、モデルはアラインメント加重再構成信号（エネルギー）と、タイミングと位相の破壊を強調するミスマッチ信号を組み合わせ、それらを単一の検出スコアに融合する。5つのベンチマーク（SMD、MSL、SMAP、SWaT、PSM）において、Pi-Transformerは最先端または非常に競争力のあるF1スコアを達成し、特にタイミングと位相破壊異常において強みを示す。ケーススタディは、2つのストリームの補完的な挙動と、レジーム変化周辺の解釈可能な検出を示している。物理情報に基づく事前情報をアテンションに埋め込むことで、複雑な多変量システムにおける異常検出に対して、較正され、堅牢なアプローチが実現する。コードはGitHubリポジトリ(https://github.com/sepehr-m/Pi-Transformer)で公開されている。
原文（英語）を表示
Title (EN): Pi-Transformer: A Physics-informed Attention Mechanism for Time Series Anomaly Detection
arXiv:2509.19985v1 Announce Type: new
Abstract: Anomalies in multivariate time series often arise from temporal context and cross-channel coordination rather than isolated outliers. We present Pi-Transformer, a physics-informed transformer with two attention pathways: a data-driven series attention and a smoothly evolving prior attention that encodes temporal invariants such as scale-related self-similarity and phase synchrony. The prior acts as a stable reference that calibrates reconstruction error. During training, we pair a reconstruction objective with a divergence term that encourages agreement between the two attentions while keeping them meaningfully distinct; the prior is regularised to evolve smoothly and is lightly distilled towards dataset-level statistics. At inference, the model combines an alignment-weighted reconstruction signal (Energy) with a mismatch signal that highlights timing and phase disruptions, and fuses them into a single score for detection. Across five benchmarks (SMD, MSL, SMAP, SWaT, and PSM), Pi-Transformer achieves state-of-the-art or highly competitive F1, with particular strength on timing and phase-breaking anomalies. Case analyses show complementary behaviour of the two streams and interpretable detections around regime changes. Embedding physics-informed priors into attention yields a calibrated and robust approach to anomaly detection in complex multivariate systems. Code is publicly available at this GitHub repository\footnote{https://github.com/sepehr-m/Pi-Transformer}.
Published: 2025-09-24 19:00 UTC