非認知尺度における自動項目中立化：大規模言語モデルを用いた社会望ましさバイアス低減へのアプローチ
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2509.19314v1発表形式：クロス
要約：本研究は、大規模言語モデル（LLM）を用いた項目中立化によるパーソナリティ評価における社会的望ましさバイアス低減効果を検証した。GPT-o3を用いてInternational Personality Item Pool Big Five Measure (IPIP-BFM-50)を書き換え、203名の参加者に元の尺度または中立化された尺度とMarlowe-Crowne Social Desirability Scaleを回答させた。その結果、信頼性と五因子構造は維持されたものの、誠実性においては向上、協調性と開放性においては低下が見られた。社会的望ましさとの相関はいくつかの項目で低下したものの、一貫性は見られなかった。構成的等価性は成立したものの、測定的等価性と尺度的等価性は成立しなかった。これらの知見は、AIを用いた中立化がバイアス低減法として潜在的な可能性を持つものの、完全ではないことを示唆している。
原文（英語）を表示
Title (EN): Automated Item Neutralization for Non-Cognitive Scales: A Large Language Model Approach to Reducing Social-Desirability Bias
arXiv:2509.19314v1 Announce Type: cross
Abstract: This study evaluates item neutralization assisted by the large language model (LLM) to reduce social desirability bias in personality assessment. GPT-o3 was used to rewrite the International Personality Item Pool Big Five Measure (IPIP-BFM-50), and 203 participants completed either the original or neutralized form along with the Marlowe-Crowne Social Desirability Scale. The results showed preserved reliability and a five-factor structure, with gains in Conscientiousness and declines in Agreeableness and Openness. The correlations with social desirability decreased for several items, but inconsistently. Configural invariance held, though metric and scalar invariance failed. Findings support AI neutralization as a potential but imperfect bias-reduction method.
Published: 2025-09-24 19:00 UTC