不確実性考慮型潜在安全フィルタによる分布外故障回避
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2505.00779v2 発表種別：置換 arXiv:2505.00779v2 発表種別：置換
概要：近年における生成世界モデルの進歩により、Hamilton-Jacobi (HJ) 到達可能性などの古典的な安全制御手法は、高次元センサ観測から直接動作する複雑なロボットシステムに一般化できるようになった。しかし、世界モデルの訓練中に全ての安全上重要なシナリオを網羅することは非常に困難である。その結果、これらのモデル上に構築された潜在的安全フィルタは、新たな危険を見逃したり、既知の危険を回避することにも失敗し、危険な分布外 (OOD) の状況を安全であると過信して誤分類することがある。これに対処するため、既知の故障と未知の故障の両方からロボットを予防的に回避する不確実性認識潜在的安全フィルタを導入する。我々の主要なアイデアは、世界モデルの認識論的不確実性を、未知の潜在的危険を特定するための代理変数として使用することである。コンフォーマル予測を用いて不確実性閾値を較正することにより、OOD世界モデル予測を検出するための原理に基づいた手法を提案する。潜在表現と認識論的不確実性の両方を包含する拡張状態空間で到達可能性解析を行うことにより、既知および未知の安全上の危険から任意のポリシーを確実に保護できる潜在的安全フィルタを合成する。Frankaマニピュレータを用いたビジョンベース制御タスクに関するシミュレーションとハードウェア実験において、我々の不確実性認識安全フィルタが潜在的に危険なシナリオを予防的に検出し、安全で分布内の行動を確実に提案することを示す。動画結果は、プロジェクトウェブサイト https://cmu-intentlab.github.io/UNISafe で確認できる。
原文（英語）を表示
Title (EN): Uncertainty-aware Latent Safety Filters for Avoiding Out-of-Distribution Failures
arXiv:2505.00779v2 Announce Type: replace-cross
Abstract: Recent advances in generative world models have enabled classical safe control methods, such as Hamilton-Jacobi (HJ) reachability, to generalize to complex robotic systems operating directly from high-dimensional sensor observations. However, obtaining comprehensive coverage of all safety-critical scenarios during world model training is extremely challenging. As a result, latent safety filters built on top of these models may miss novel hazards and even fail to prevent known ones, overconfidently misclassifying risky out-of-distribution (OOD) situations as safe. To address this, we introduce an uncertainty-aware latent safety filter that proactively steers robots away from both known and unseen failures. Our key idea is to use the world model’s epistemic uncertainty as a proxy for identifying unseen potential hazards. We propose a principled method to detect OOD world model predictions by calibrating an uncertainty threshold via conformal prediction. By performing reachability analysis in an augmented state space-spanning both the latent representation and the epistemic uncertainty-we synthesize a latent safety filter that can reliably safeguard arbitrary policies from both known and unseen safety hazards. In simulation and hardware experiments on vision-based control tasks with a Franka manipulator, we show that our uncertainty-aware safety filter preemptively detects potential unsafe scenarios and reliably proposes safe, in-distribution actions. Video results can be found on the project website at https://cmu-intentlab.github.io/UNISafe
Published: 2025-09-24 19:00 UTC