FHIR-AgentBench：現実的な相互運用可能なEHR質問応答のためのLLMエージェントベンチマーク
なぜ重要か: パフォーマンス指標が更新され、選定・置換の判断材料になります。
arXiv:2509.19319v1発表タイプ：クロス
要約：近年のHealth Level Seven Fast Healthcare Interoperability Resources (HL7 FHIR)標準への移行は、臨床AIに新たな地平を開き、LLMエージェントに従来の構造化医療データではなく、複雑なリソースベースのデータモデルを扱うことを要求しています。しかし、既存のベンチマークは、この移行に遅れを取っており、相互運用可能な臨床データにおける最近のLLMを評価するために必要な現実性が欠けています。このギャップを埋めるために、我々はHL7 FHIR標準に2,931件の実世界の臨床質問を基づいたベンチマーク、FHIR-AgentBenchを導入します。このベンチマークを用いて、様々なデータ取得戦略（直接的なFHIR API呼び出しと特殊ツール）、インタラクションパターン（シングルターンとマルチターン）、推論戦略（自然言語とコード生成）を比較し、エージェントフレームワークを体系的に評価します。実験では、複雑なFHIRリソースからのデータ取得とそれらに関する推論の困難さが、質問応答のパフォーマンスに大きく影響することが明らかになりました。再現可能な研究と、臨床用途のための堅牢で信頼性の高いLLMエージェントの開発を促進するため、FHIR-AgentBenchデータセットと評価スイート（https://github.com/glee4810/FHIR-AgentBench）を公開します。
原文（英語）を表示
Title (EN): FHIR-AgentBench: Benchmarking LLM Agents for Realistic Interoperable EHR Question Answering
arXiv:2509.19319v1 Announce Type: cross
Abstract: The recent shift toward the Health Level Seven Fast Healthcare Interoperability Resources (HL7 FHIR) standard opens a new frontier for clinical AI, demanding LLM agents to navigate complex, resource-based data models instead of conventional structured health data. However, existing benchmarks have lagged behind this transition, lacking the realism needed to evaluate recent LLMs on interoperable clinical data. To bridge this gap, we introduce FHIR-AgentBench, a benchmark that grounds 2,931 real-world clinical questions in the HL7 FHIR standard. Using this benchmark, we systematically evaluate agentic frameworks, comparing different data retrieval strategies (direct FHIR API calls vs. specialized tools), interaction patterns (single-turn vs. multi-turn), and reasoning strategies (natural language vs. code generation). Our experiments highlight the practical challenges of retrieving data from intricate FHIR resources and the difficulty of reasoning over them, both of which critically affect question answering performance. We publicly release the FHIR-AgentBench dataset and evaluation suite (https://github.com/glee4810/FHIR-AgentBench) to promote reproducible research and the development of robust, reliable LLM agents for clinical applications.
Published: 2025-09-24 19:00 UTC