LLMがフレーム意味論をエンコードするか？フレーム識別からの証拠
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2509.19540v1（発表種別：新規）
要旨：本研究は、大規模言語モデルがフレーム意味論に関する潜在的な知識をエンコードしているかどうかを調査し、特にフレーム識別、すなわち文脈における対象語に適切な意味フレームを選択するというフレーム意味解析における中心的な課題に焦点を当てた。FrameNet語彙資源を用いて、プロンプトベース推論下でのモデルを評価した結果、明示的な教師なしでも効果的にフレーム識別を実行できることが示された。タスク固有の訓練の影響を評価するために、FrameNetデータでモデルをファインチューニングしたところ、ドメイン内精度が大幅に向上し、ドメイン外ベンチマークにも良好に一般化された。更なる分析により、モデルは意味的に首尾一貫したフレーム定義を生成できることが示され、モデルがフレーム意味論を内部化していることを示唆している。
原文（英語）を表示
Title (EN): Do LLMs Encode Frame Semantics? Evidence from Frame Identification
arXiv:2509.19540v1 Announce Type: new
Abstract: We investigate whether large language models encode latent knowledge of frame semantics, focusing on frame identification, a core challenge in frame semantic parsing that involves selecting the appropriate semantic frame for a target word in context. Using the FrameNet lexical resource, we evaluate models under prompt-based inference and observe that they can perform frame identification effectively even without explicit supervision. To assess the impact of task-specific training, we fine-tune the model on FrameNet data, which substantially improves in-domain accuracy while generalizing well to out-of-domain benchmarks. Further analysis shows that the models can generate semantically coherent frame definitions, highlighting the model’s internalized understanding of frame semantics.
Published: 2025-09-24 19:00 UTC