EgoBridge：自己中心的な人間データからの汎化可能な模倣のためのドメイン適応
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2509.19626v1発表タイプ：クロス
概要：エゴセントリックな人間の体験データは、ロボット操作のためのエンドツーエンド模倣学習を大規模化する上で膨大なリソースを提供します。しかしながら、人間の視覚的特徴、センサモダリティ、運動学とロボット間の顕著なドメインギャップが知識転移を妨げています。本論文は、ドメイン適応を用いて人間とロボットのポリシー潜在空間を明示的に整列させる統合型共同学習フレームワーク、EgoBridgeを提案します。最適輸送（OT）に基づく結合ポリシー潜在特徴と行動の差異尺度を通じて、人間とロボットのドメイン間で整列するだけでなく、ポリシー学習に不可欠な行動関連情報を保持する観測表現を学習します。EgoBridgeは、3つの現実世界のシングルアームおよびバイマニュアル操作タスクにおいて、人間拡張型クロスエンボディメントベースラインと比較して、ポリシー成功率を絶対値で44％向上させました。EgoBridgeは、ベースラインが完全に失敗する、人間データのみに存在する新しいオブジェクト、シーン、タスクにも一般化します。ビデオおよび追加情報は、https://ego-bridge.github.ioでご覧いただけます。
原文（英語）を表示
Title (EN): EgoBridge: Domain Adaptation for Generalizable Imitation from Egocentric Human Data
arXiv:2509.19626v1 Announce Type: cross
Abstract: Egocentric human experience data presents a vast resource for scaling up end-to-end imitation learning for robotic manipulation. However, significant domain gaps in visual appearance, sensor modalities, and kinematics between human and robot impede knowledge transfer. This paper presents EgoBridge, a unified co-training framework that explicitly aligns the policy latent spaces between human and robot data using domain adaptation. Through a measure of discrepancy on the joint policy latent features and actions based on Optimal Transport (OT), we learn observation representations that not only align between the human and robot domain but also preserve the action-relevant information critical for policy learning. EgoBridge achieves a significant absolute policy success rate improvement by 44% over human-augmented cross-embodiment baselines in three real-world single-arm and bimanual manipulation tasks. EgoBridge also generalizes to new objects, scenes, and tasks seen only in human data, where baselines fail entirely. Videos and additional information can be found at https://ego-bridge.github.io
Published: 2025-09-24 19:00 UTC