複素数値信号処理のためのホログラフィックトランスフォーマー：自己注意機構への位相干渉の統合
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2509.19331v1発表タイプ：クロス
概要：複素数値信号は振幅と位相の両方を符号化しますが、ほとんどの深層モデルは注意機構を実数値相関として扱い、干渉効果を見過ごしています。本研究では、波動干渉の原理を自己注意機構に組み込んだ物理学に着想を得たアーキテクチャであるホログラフィック・トランスフォーマーを提案します。ホログラフィック注意機構は、相対位相によって相互作用を調整し、値をコヒーレントに重ね合わせることで、振幅と位相の一貫性を確保します。デュアルヘッドデコーダは、入力の再構成とタスク出力の予測を同時に行い、損失が位相よりも振幅を優先する場合の位相崩壊を防ぎます。ホログラフィック注意機構は離散的な干渉演算子を実装し、線形混合下で位相の一貫性を維持することを示します。PolSAR画像分類と無線チャネル予測に関する実験では、高い分類精度とF1スコア、低い回帰誤差、位相摂動に対する堅牢性の向上など、高い性能を示しました。これらの結果は、注意機構における物理的一貫性を強化することで、複素数値学習における汎化性能の向上がもたらされ、コヒーレント信号モデリングのための統一された物理に基づくフレームワークを提供することを示しています。コードはhttps://github.com/EonHao/Holographic-Transformersで公開しています。
原文（英語）を表示
Title (EN): Holographic Transformers for Complex-Valued Signal Processing: Integrating Phase Interference into Self-Attention
arXiv:2509.19331v1 Announce Type: cross
Abstract: Complex-valued signals encode both amplitude and phase, yet most deep models treat attention as real-valued correlation, overlooking interference effects. We introduce the Holographic Transformer, a physics-inspired architecture that incorporates wave interference principles into self-attention. Holographic attention modulates interactions by relative phase and coherently superimposes values, ensuring consistency between amplitude and phase. A dual-headed decoder simultaneously reconstructs the input and predicts task outputs, preventing phase collapse when losses prioritize magnitude over phase. We demonstrate that holographic attention implements a discrete interference operator and maintains phase consistency under linear mixing. Experiments on PolSAR image classification and wireless channel prediction show strong performance, achieving high classification accuracy and F1 scores, low regression error, and increased robustness to phase perturbations. These results highlight that enforcing physical consistency in attention leads to generalizable improvements in complex-valued learning and provides a unified, physics-based framework for coherent signal modeling. The code is available at https://github.com/EonHao/Holographic-Transformers.
Published: 2025-09-24 19:00 UTC