グラフニューラルネットワークを用いた推定誤差最小化のための分散学習戦略
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2404.03227v3発表タイプ: 交互置換
要旨：本稿では、統計的に同一の複数のエージェントを持つマルチホップ無線ネットワークにおける自己回帰マルコフ過程のサンプリングとリモート推定の課題に取り組みます。エージェントは他のエージェントからの最新のサンプルをキャッシュし、基礎となるグラフトポロジによって制御される無線衝突チャネルを介して通信します。我々の目標は、無頓着なポリシー（意思決定が物理プロセスに依存しない）と無頓着でないポリシー（意思決定が物理プロセスに依存する）の両方において、分散型のスケーラブルなサンプリングと伝送ポリシーを考慮し、時間平均推定誤差および／または情報年齢を最小化することです。無頓着なポリシーでは、推定誤差の最小化は情報年齢の最小化と同等であることを証明します。特に多次元のアクション空間と任意のネットワークトポロジを持つこの問題の複雑さから、最適な伝送ポリシーを見つけるための理論的方法は扱いが困難です。我々は、各エージェントが置換同変グラフニューラルネットワークアーキテクチャを採用する、グラフマルチエージェント強化学習フレームワークを使用してポリシーを最適化します。理論的には、提案されたフレームワークは望ましい転移性を示し、小規模または中規模のネットワークでトレーニングされた伝送ポリシーを大規模なトポロジで効果的に実行できることを証明します。数値実験により、（i）提案されたフレームワークは最先端のベースラインを凌駕する；（ii）トレーニングされたポリシーはより大きなネットワークに移植可能であり、その性能向上はエージェントの数とともに増加する；（iii）独立学習手法を利用した場合でも、トレーニング手順は非定常性を耐える；そして（iv）独立学習と中央集権的トレーニングと分散実行の両方において再帰が重要であり、独立学習における非定常性に対する耐性を向上させることが示されました。
原文（英語）を表示
Title (EN): Decentralized Learning Strategies for Estimation Error Minimization with Graph Neural Networks
arXiv:2404.03227v3 Announce Type: replace-cross
Abstract: We address the challenge of sampling and remote estimation for autoregressive Markovian processes in a multi-hop wireless network with statistically-identical agents. Agents cache the most recent samples from others and communicate over wireless collision channels governed by an underlying graph topology. Our goal is to minimize time-average estimation error and/or age of information with decentralized scalable sampling and transmission policies, considering both oblivious (where decision-making is independent of the physical processes) and non-oblivious policies (where decision-making depends on physical processes). We prove that in oblivious policies, minimizing estimation error is equivalent to minimizing the age of information. The complexity of the problem, especially the multi-dimensional action spaces and arbitrary network topologies, makes theoretical methods for finding optimal transmission policies intractable. We optimize the policies using a graphical multi-agent reinforcement learning framework, where each agent employs a permutation-equivariant graph neural network architecture. Theoretically, we prove that our proposed framework exhibits desirable transferability properties, allowing transmission policies trained on small- or moderate-size networks to be executed effectively on large-scale topologies. Numerical experiments demonstrate that (i) Our proposed framework outperforms state-of-the-art baselines; (ii) The trained policies are transferable to larger networks, and their performance gains increase with the number of agents; (iii) The training procedure withstands non-stationarity even if we utilize independent learning techniques; and, (iv) Recurrence is pivotal in both independent learning and centralized training and decentralized execution, and improves the resilience to non-stationarity in independent learning.
Published: 2025-09-24 19:00 UTC