MoTiC:Momentum Tightness and Contrastを用いた少样本クラス増分学習
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2509.19664v1 発表種別:クロス
要約:Few-Shot Class-Incremental Learning (FSCIL) は、乏しいサンプルから新しいクラスを学習しつつ、古いクラスの知識を保持するという二重の課題に対処する必要がある。既存の手法は、凍結された特徴抽出器とクラス平均プロトタイプを用いて、壊滅的な忘却と過学習を軽減している。しかし、新しいクラスのプロトタイプはデータの極端な不足により著しい推定バイアスに悩まされる一方、基本クラスのプロトタイプは十分なデータから恩恵を受けている。本研究では、ベイズ解析を用いて新しいクラスの事前分布を古いクラスの統計量に合わせることで、分散を低減し、プロトタイプの精度を向上させることを理論的に示す。さらに、クロスカテゴリの特徴の緊密性を強化するために、大規模なコントラスティブ学習を提案する。特徴の多様性をさらに豊かにし、新しいクラスのプロトタイプに事前情報を注入するために、Momentum Tightness and Contrast framework (MoTiC) にモーメンタム自己教師あり学習と仮想カテゴリを統合し、表現力豊かな表現と強化されたクラス間凝集性を備えた特徴空間を構築する。3つのFSCILベンチマークに関する実験では、特に細粒度タスクであるCUB-200において最先端の性能を実現し、本手法が推定バイアスを低減し、増分学習の堅牢性を向上させる能力を検証した。
原文(英語)を表示
Title (EN): MoTiC: Momentum Tightness and Contrast for Few-Shot Class-Incremental Learning
arXiv:2509.19664v1 Announce Type: cross
Abstract: Few-Shot Class-Incremental Learning (FSCIL) must contend with the dual challenge of learning new classes from scarce samples while preserving old class knowledge. Existing methods use the frozen feature extractor and class-averaged prototypes to mitigate against catastrophic forgetting and overfitting. However, new-class prototypes suffer significant estimation bias due to extreme data scarcity, whereas base-class prototypes benefit from sufficient data. In this work, we theoretically demonstrate that aligning the new-class priors with old-class statistics via Bayesian analysis reduces variance and improves prototype accuracy. Furthermore, we propose large-scale contrastive learning to enforce cross-category feature tightness. To further enrich feature diversity and inject prior information for new-class prototypes, we integrate momentum self-supervision and virtual categories into the Momentum Tightness and Contrast framework (MoTiC), constructing a feature space with rich representations and enhanced interclass cohesion. Experiments on three FSCIL benchmarks produce state-of-the-art performances, particularly on the fine-grained task CUB-200, validating our method’s ability to reduce estimation bias and improve incremental learning robustness.
Published: 2025-09-24 19:00 UTC