CollaPipe：異種エッジネットワークにおける協調型LLMトレーニングのための適応型セグメント最適化パイプライン並列処理
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2509.19855v1発表形式：クロス
要旨：インテリジェントモバイルアプリケーションの需要増大に伴い、モバイルエッジコンピューティング(MEC)ネットワークにおいて、Transformerベースの大規模言語モデル(LLM)を用いたマルチエージェント協調が不可欠となっている。しかし、このような環境下でのLLMの学習は、膨大な計算量、高いエンドツーエンド遅延、限定的なモデル汎化能力といった課題が残されている。本稿では、協調パイプライン並列処理とフェデレーテッド集約を統合したハイブリッド分散学習フレームワーク、CollaPipeを提案する。CollaPipeでは、エンコーダー部分を可変サイズのセグメントに適応的に分割し、モバイルデバイスに展開してパイプライン並列学習を行い、デコーダーはエッジサーバに展開して生成タスクを処理する。その後、フェデレーテッド集約によりグローバルモデル更新を行う。学習効率の向上のため、モデルセグメント、マイクロバッチ、帯域幅、送信電力の動的な割り当てを行うための同時最適化問題を定式化する。そして、閉形式の収束限界を導出し、それを用いてLyapunov最適化に基づく動的セグメントスケジューリングとリソース割り当て(DSSDA)アルゴリズムを設計し、長期的な制約下でのシステム安定性を確保する。TransformerおよびBERTモデルを用いた下流タスクに関する広範な実験により、CollaPipeは計算効率を最大15.09%向上させ、エンドツーエンド遅延を少なくとも48.98%削減し、単一デバイスのメモリ使用量を半分以上削減することで、異種混合かつ動的な通信環境下でのオンライン学習を可能にすることを示す。
原文（英語）を表示
Title (EN): CollaPipe: Adaptive Segment-Optimized Pipeline Parallelism for Collaborative LLM Training in Heterogeneous Edge Networks
arXiv:2509.19855v1 Announce Type: cross
Abstract: The increasing demand for intelligent mobile applications has made multi-agent collaboration with Transformer-based large language models (LLMs) essential in mobile edge computing (MEC) networks. However, training LLMs in such environments remains challenging due to heavy computation, high end-to-end latency, and limited model generalization. We introduce CollaPipe, a hybrid distributed learning framework that integrates collaborative pipeline parallelism with federated aggregation to support self-evolving intelligent networks. In CollaPipe, the encoder part is adaptively partitioned into variable-sized segments and deployed across mobile devices for pipeline-parallel training, while the decoder is deployed on edge servers to handle generative tasks. Then we perform global model update via federated aggregation. To enhance training efficiency, we formulate a joint optimization problem that adaptively allocates model segments, micro-batches, bandwidth, and transmission power. We derive and use a closed-form convergence bound to design an Dynamic Segment Scheduling and Resource Allocation (DSSDA) algorithm based on Lyapunov optimization, ensuring system stability under long-term constraints. Extensive experiments on downstream tasks with Transformer and BERT models show that CollaPipe improves computation efficiency by up to 15.09%, reduces end-to-end latency by at least 48.98%, and cuts single device memory usage by more than half, enabling online learning in heterogeneous and dynamic communication environments.
Published: 2025-09-24 19:00 UTC