文化は至る所に存在する：意図的な文化的評価への提言
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2509.01301v2 発表種別:差し替え
要約: 大規模言語モデル（LLM）の文化的整合性を評価する際の、広く行き渡っている「雑学中心のパラダイム」は、これらのモデルがより高度になり、広く展開されるにつれて、ますます不適切になっている。既存のアプローチは、典型的には文化を静的な事実や価値観に還元し、文化を孤立した雑学として扱う多肢選択式または短答式の問題を通してモデルをテストする。このような方法は、文化の多元的でインタラクティブな現実を無視し、文化的な前提がいかにして一見「中立的な」評価設定にも浸透しているかを看過している。本論考では、**意図的な文化的評価**を提唱する。これは、明示的に文化的課題だけでなく、評価のあらゆる側面に埋め込まれた文化的仮定を体系的に検討するアプローチである。我々は、文化的制約のある考慮事項が評価においてどのように、どのような状況で生じるのかを体系的に特徴付け、包括的で文化的に整合したNLP研究を促進するための研究者の立場的重要性を強調する。最後に、現在のベンチマーク手法を超えること、存在を知らない重要な応用を発見すること、HCIに触発された参加型方法論を通じてコミュニティを評価設計に巻き込むことについての含意と将来の方向性を議論する。
原文（英語）を表示
Title (EN): Culture is Everywhere: A Call for Intentionally Cultural Evaluation
arXiv:2509.01301v2 Announce Type: replace
Abstract: The prevailing “trivia-centered paradigm” for evaluating the cultural alignment of large language models (LLMs) is increasingly inadequate as these models become more advanced and widely deployed. Existing approaches typically reduce culture to static facts or values, testing models via multiple-choice or short-answer questions that treat culture as isolated trivia. Such methods neglect the pluralistic and interactive realities of culture, and overlook how cultural assumptions permeate even ostensibly “neutral” evaluation settings. In this position paper, we argue for \textbf{intentionally cultural evaluation}: an approach that systematically examines the cultural assumptions embedded in all aspects of evaluation, not just in explicitly cultural tasks. We systematically characterize the what, how, and circumstances by which culturally contingent considerations arise in evaluation, and emphasize the importance of researcher positionality for fostering inclusive, culturally aligned NLP research. Finally, we discuss implications and future directions for moving beyond current benchmarking practices, discovering important applications that we don’t know exist, and involving communities in evaluation design through HCI-inspired participatory methodologies.
Published: 2025-09-24 19:00 UTC