RoboSSM:状態空間モデルを用いたスケーラブルなコンテキスト内模倣学習

RoboSSM:状態空間モデルを用いたスケーラブルなコンテキスト内模倣学習

なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。

ソースを読む(export.arxiv.org)

arXiv:2509.19658v1発表形式:クロス

要約:コンテキスト内模倣学習(ICIL)は、ほんの一握りのデモンストレーションから成るプロンプトによってロボットにタスクを学習させることを可能にする。展開時のパラメータ更新を不要とするこのパラダイムは、新規タスクへの少ショット適応を支援する。しかし、最近のICIL手法はTransformerに依存しており、計算上の制約があり、訓練時に見られたものより長いプロンプトを扱う際に性能が低下する傾向がある。本研究では、状態空間モデル(SSM)に基づくコンテキスト内模倣学習のためのスケーラブルなレシピであるRoboSSMを紹介する。具体的に、RoboSSMはTransformerをLonghorn——最先端のSSMであり、線形時間推論と強力な外挿能力を提供し、長コンテキストプロンプトに適している——に置き換える。LIBEROベンチマークで我々の手法を評価し、強力なTransformerベースのICILベースラインと比較する。実験により、RoboSSMは様々な数のコンテキスト内デモンストレーションに効果的に外挿し、未見のタスクで高い性能を示し、長期間シナリオにおいても堅牢であることが示された。これらの結果は、SSMがICILのための効率的でスケーラブルなバックボーンとしての可能性を浮き彫りにしている。コードはhttps://github.com/youngjuY/RoboSSMで公開している。

原文(英語)を表示

Title (EN): RoboSSM: Scalable In-context Imitation Learning via State-Space Models

arXiv:2509.19658v1 Announce Type: cross
Abstract: In-context imitation learning (ICIL) enables robots to learn tasks from prompts consisting of just a handful of demonstrations. By eliminating the need for parameter updates at deployment time, this paradigm supports few-shot adaptation to novel tasks. However, recent ICIL methods rely on Transformers, which have computational limitations and tend to underperform when handling longer prompts than those seen during training. In this work, we introduce RoboSSM, a scalable recipe for in-context imitation learning based on state-space models (SSM). Specifically, RoboSSM replaces Transformers with Longhorn — a state-of-the-art SSM that provides linear-time inference and strong extrapolation capabilities, making it well-suited for long-context prompts. We evaluate our approach on the LIBERO benchmark and compare it against strong Transformer-based ICIL baselines. Experiments show that RoboSSM extrapolates effectively to varying numbers of in-context demonstrations, yields high performance on unseen tasks, and remains robust in long-horizon scenarios. These results highlight the potential of SSMs as an efficient and scalable backbone for ICIL. Our code is available at https://github.com/youngjuY/RoboSSM.

Published: 2025-09-24 19:00 UTC


コメントする