C²プロンプト：クラス認識クライアント知識インタラクションによるフェデレーテッド継続学習
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2509.19674v1 発表種別：新規
概要：連合継続学習（FCL）は、分散クライアント間で継続的に出現するタスクデータからの学習に取り組むものであり、時間的忘却と空間的忘却の両方を同時に解決することが課題となっています。近年、プロンプトベースのFCL手法は、タスクごとのプロンプト通信を通じて高度な性能を示しています。本研究では、既存のプロンプトベースのFCL手法が、クライアント間でのプロンプト間のクラスごとの知識の一貫性に欠けていることを明らかにします。クラスごとの知識の一貫性には、(1) クライアント間のクラス内分布のずれ（プロンプト間で学習された意味を低下させる）、(2) プロンプト間のクラスごとの関連性（クラス間の知識の混同を強調する）、の2つの側面があります。プロンプト通信において、クラスごとの一貫性が不十分であると、新しいプロンプト間の知識の衝突が悪化し、古いプロンプトとの干渉を引き起こし、空間的忘却と時間的忘却の両方を増幅させます。これらの問題に対処するため、プロンプト通信中にクラスごとの知識の一貫性を明示的に強化する、新しいクラス認識クライアント知識インタラクション（C${}^2$Prompt）手法を提案します。具体的には、クライアント間のクラス内分布の不均衡を軽減し、クラス内知識の一貫性を強化するために、局所クラス分布補償機構（LCDC）を導入します。さらに、クラス関連の知識の集約を選択的に強化することにより、クラス間の知識の混同を軽減するために、クラス認識プロンプト集約スキーム（CPA）を設計しました。複数のFCLベンチマークに関する広範な実験により、C${}^2$Promptが最先端の性能を達成することが示されました。ソースコードはhttps://github.com/zhoujiahuan1991/NeurIPS2025-C2Promptで公開しています。
原文（英語）を表示
Title (EN): C${}^2$Prompt: Class-aware Client Knowledge Interaction for Federated Continual Learning
arXiv:2509.19674v1 Announce Type: new
Abstract: Federated continual learning (FCL) tackles scenarios of learning from continuously emerging task data across distributed clients, where the key challenge lies in addressing both temporal forgetting over time and spatial forgetting simultaneously. Recently, prompt-based FCL methods have shown advanced performance through task-wise prompt communication.In this study, we underscore that the existing prompt-based FCL methods are prone to class-wise knowledge coherence between prompts across clients. The class-wise knowledge coherence includes two aspects: (1) intra-class distribution gap across clients, which degrades the learned semantics across prompts, (2) inter-prompt class-wise relevance, which highlights cross-class knowledge confusion. During prompt communication, insufficient class-wise coherence exacerbates knowledge conflicts among new prompts and induces interference with old prompts, intensifying both spatial and temporal forgetting. To address these issues, we propose a novel Class-aware Client Knowledge Interaction (C${}^2$Prompt) method that explicitly enhances class-wise knowledge coherence during prompt communication. Specifically, a local class distribution compensation mechanism (LCDC) is introduced to reduce intra-class distribution disparities across clients, thereby reinforcing intra-class knowledge consistency. Additionally, a class-aware prompt aggregation scheme (CPA) is designed to alleviate inter-class knowledge confusion by selectively strengthening class-relevant knowledge aggregation. Extensive experiments on multiple FCL benchmarks demonstrate that C${}^2$Prompt achieves state-of-the-art performance. Our source code is available at https://github.com/zhoujiahuan1991/NeurIPS2025-C2Prompt
Published: 2025-09-24 19:00 UTC