盲目と象：ベンチマークデータセットにおけるジェンダー・ステレオタイプの多様な視点
なぜ重要か: パフォーマンス指標が更新され、選定・置換の判断材料になります。
arXiv:2501.01168v2 発表種別：replace-cross
概要：言語モデルにおける性役割ステレオタイプバイアスの正確な測定は、多くの隠れた側面を持つ複雑な課題である。現在のベンチマークは、この多面的な課題を過小評価し、問題の全容を捉えられていない。本論文では、固有のステレオタイプベンチマーク間の矛盾を検証する。現在利用可能なベンチマークはそれぞれ、性役割ステレオタイプの部分的な側面しか捉えておらず、個別に考慮すると、言語モデルにおけるバイアスの広範な状況を断片的にしか示さないことを提案する。StereoSetとCrowS-Pairsをケーススタディとして使用し、データ分布がベンチマーク結果にどのように影響するかを調査した。社会心理学の枠組みを適用して、これらのベンチマークのデータを性役割ステレオタイプの様々な構成要素にわたってバランスさせることで、単純なバランス調整技術でも、異なる測定アプローチ間の相関を大幅に向上できることを示した。これらの知見は、言語モデルにおける性役割ステレオタイプの複雑さを強調し、バイアスの検出と軽減のためのより洗練された技術を開発するための新たな方向性を示している。
原文（英語）を表示
Title (EN): Blind Men and the Elephant: Diverse Perspectives on Gender Stereotypes in Benchmark Datasets
arXiv:2501.01168v2 Announce Type: replace-cross
Abstract: Accurately measuring gender stereotypical bias in language models is a complex task with many hidden aspects. Current benchmarks have underestimated this multifaceted challenge and failed to capture the full extent of the problem. This paper examines the inconsistencies between intrinsic stereotype benchmarks. We propose that currently available benchmarks each capture only partial facets of gender stereotypes, and when considered in isolation, they provide just a fragmented view of the broader landscape of bias in language models. Using StereoSet and CrowS-Pairs as case studies, we investigated how data distribution affects benchmark results. By applying a framework from social psychology to balance the data of these benchmarks across various components of gender stereotypes, we demonstrated that even simple balancing techniques can significantly improve the correlation between different measurement approaches. Our findings underscore the complexity of gender stereotyping in language models and point to new directions for developing more refined techniques to detect and reduce bias.
Published: 2025-09-24 19:00 UTC