言語モデルを用いた認知的評価における主観性のモデリング
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2503.11381v2 発表種別：差し替え
要旨：学際的な人間中心研究における言語モデルの利用が増加するにつれ、その能力に対する期待も進化し続けています。従来のタスクにおける卓越性に加え、モデルは現在、自信や人間の合意／不一致といった、主観的な選好を反映するユーザー中心の測定において良好な性能を発揮することが期待されています。主観性のモデリングは認知科学において重要な役割を果たしており、広く研究されてきましたが、NLPとの接点におけるその調査は依然として未開拓です。このギャップを踏まえ、微調整済みモデルとプロンプトベースの大規模言語モデル（LLM）の両方による包括的な実験と分析を行い、言語モデルが認知的評価における主観性をどのように定量化できるかを検討します。我々の定量的および定性的結果は、パーソナリティ特性と人口統計情報が主観性の測定に不可欠であることを示していますが、既存の事後較正方法はしばしば満足のいく性能を達成できません。さらに、我々の詳細な分析は、NLPと認知科学の接点における将来の研究を導く貴重な知見を提供します。
原文（英語）を表示
Title (EN): Modeling Subjectivity in Cognitive Appraisal with Language Models
arXiv:2503.11381v2 Announce Type: replace
Abstract: As the utilization of language models in interdisciplinary, human-centered studies grow, expectations of their capabilities continue to evolve. Beyond excelling at conventional tasks, models are now expected to perform well on user-centric measurements involving confidence and human (dis)agreement-factors that reflect subjective preferences. While modeling subjectivity plays an essential role in cognitive science and has been extensively studied, its investigation at the intersection with NLP remains under-explored. In light of this gap, we explore how language models can quantify subjectivity in cognitive appraisal by conducting comprehensive experiments and analyses with both fine-tuned models and prompt-based large language models (LLMs). Our quantitative and qualitative results demonstrate that personality traits and demographic information are critical for measuring subjectivity, yet existing post-hoc calibration methods often fail to achieve satisfactory performance. Furthermore, our in-depth analysis provides valuable insights to guide future research at the intersection of NLP and cognitive science.
Published: 2025-09-24 19:00 UTC