ワン・フィルターズ・オール：状態推定のための汎用フィルター
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2509.20051v1発表形式：クロス
概要：動的システムにおける隠れ状態の推定、すなわち最適フィルタリングは、科学技術の様々な分野における長年の課題である。本論文では、テキストプロトタイプを用いたノイズの多い観測値の埋め込みにより、大規模言語モデル（LLM）を状態推定に活用する汎用フィルタリングフレームワーク、**LLM-Filter**を提案する。古典的な動的システムに関する様々な実験において、第一に、事前学習済みLLMに埋め込まれた推論知識が状態推定に大きく寄与することを明らかにした。凍結されたLLMと適切なモダリティ整合を達成することにより、LLM-Filterは最先端の学習に基づく手法を凌駕する。第二に、LLMが推定タスクを理解できるようにタスク指示を取り込んだプロンプト構造、System-as-Prompt（SaP）を慎重に設計した。これらのプロンプトによって導かれるLLM-Filterは、変化した環境や未観測の環境においても正確なフィルタリングタスクを実行できる優れた汎化性能を示す。さらに、LLM-Filterにおいて、精度がモデルサイズと学習時間の増加に伴って向上するスケーリング則的な挙動を観察した。これらの知見から、LLM-Filterはフィルタリングの有望な基礎モデルとなる。
原文（英語）を表示
Title (EN): One Filters All: A Generalist Filter for State Estimation
arXiv:2509.20051v1 Announce Type: cross
Abstract: Estimating hidden states in dynamical systems, also known as optimal filtering, is a long-standing problem in various fields of science and engineering. In this paper, we introduce a general filtering framework, \textbf{LLM-Filter}, which leverages large language models (LLMs) for state estimation by embedding noisy observations with text prototypes. In various experiments for classical dynamical systems, we find that first, state estimation can significantly benefit from the reasoning knowledge embedded in pre-trained LLMs. By achieving proper modality alignment with the frozen LLM, LLM-Filter outperforms the state-of-the-art learning-based approaches. Second, we carefully design the prompt structure, System-as-Prompt (SaP), incorporating task instructions that enable the LLM to understand the estimation tasks. Guided by these prompts, LLM-Filter exhibits exceptional generalization, capable of performing filtering tasks accurately in changed or even unseen environments. We further observe a scaling-law behavior in LLM-Filter, where accuracy improves with larger model sizes and longer training times. These findings make LLM-Filter a promising foundation model of filtering.
Published: 2025-09-24 19:00 UTC