大規模言語モデルに基づくエンティティマッチングにおける信頼性較正
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2509.19557v1 発表種別：新規
概要：本研究は、大規模言語モデルとエンティティマッチングにおける信頼度較正の交点を探求することを目的とする。この目的のために、エンティティマッチングタスクに対するベースラインのRoBERTaの信頼度を、温度スケーリング、モンテカルロドロップアウト、アンサンブルを用いて較正された信頼度と比較する経験的研究を実施する。Abt-Buy、DBLP-ACM、iTunes-Amazon、Companyデータセットを使用する。その結果、提案された修正RoBERTaモデルはわずかな過信を示し、期待較正誤差スコアはデータセット全体で0.0043から0.0552の範囲であることが示された。この過信は温度スケーリングを用いることで軽減でき、期待較正誤差スコアを最大23.83％削減できることがわかった。
原文（英語）を表示
Title (EN): Confidence Calibration in Large Language Model-Based Entity Matching
arXiv:2509.19557v1 Announce Type: new
Abstract: This research aims to explore the intersection of Large Language Models and confidence calibration in Entity Matching. To this end, we perform an empirical study to compare baseline RoBERTa confidences for an Entity Matching task against confidences that are calibrated using Temperature Scaling, Monte Carlo Dropout and Ensembles. We use the Abt-Buy, DBLP-ACM, iTunes-Amazon and Company datasets. The findings indicate that the proposed modified RoBERTa model exhibits a slight overconfidence, with Expected Calibration Error scores ranging from 0.0043 to 0.0552 across datasets. We find that this overconfidence can be mitigated using Temperature Scaling, reducing Expected Calibration Error scores by up to 23.83%.
Published: 2025-09-24 19:00 UTC