言語モデルを用いた認知的評価における主観性のモデリング
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2503.11381v2 発表種別：差し替え
概要：学際的な人間中心研究における言語モデルの利用が増えるにつれ、その能力に対する期待も進化を続けている。従来のタスクにおける優れた性能に加え、自信や人間の合意／不一致といった、主観的な選好を反映するユーザー中心の測定においても高い性能が求められるようになっている。主観性のモデリングは認知科学において重要な役割を果たし、広範囲に研究されてきたが、NLPとの接点におけるその研究は未だ十分に進んでいない。このギャップを踏まえ、本研究では、微調整済みモデルとプロンプトベースの大規模言語モデル（LLM）を用いた包括的な実験と分析を通して、言語モデルが認知的評価における主観性をどのように定量化できるのかを探求する。定量的および定性的な結果から、パーソナリティ特性と人口統計情報は主観性の測定に不可欠であることが示されたが、既存の事後較正方法は満足のいく性能を達成できないことが多い。さらに、本研究の深層分析は、NLPと認知科学の接点における今後の研究を導く貴重な知見を提供する。
原文（英語）を表示
Title (EN): Modeling Subjectivity in Cognitive Appraisal with Language Models
arXiv:2503.11381v2 Announce Type: replace
Abstract: As the utilization of language models in interdisciplinary, human-centered studies grow, expectations of their capabilities continue to evolve. Beyond excelling at conventional tasks, models are now expected to perform well on user-centric measurements involving confidence and human (dis)agreement-factors that reflect subjective preferences. While modeling subjectivity plays an essential role in cognitive science and has been extensively studied, its investigation at the intersection with NLP remains under-explored. In light of this gap, we explore how language models can quantify subjectivity in cognitive appraisal by conducting comprehensive experiments and analyses with both fine-tuned models and prompt-based large language models (LLMs). Our quantitative and qualitative results demonstrate that personality traits and demographic information are critical for measuring subjectivity, yet existing post-hoc calibration methods often fail to achieve satisfactory performance. Furthermore, our in-depth analysis provides valuable insights to guide future research at the intersection of NLP and cognitive science.
Published: 2025-09-24 19:00 UTC