MCGrad：ウェブ規模での多重較正
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2509.19884v1 発表種別：新規
概要：本稿では、新規かつ拡張性の高い多重較正アルゴリズムであるMCGradを提案する。多重較正―データのサブグループにおける較正―は、機械学習ベースシステムのパフォーマンスにとって重要な特性である。既存の多重較正手法は、これまで産業界において限定的な普及にとどまっている。これは、既存の手法が(1) ML実務者がしばしば苦労する、サブグループの手動指定を必要とする、(2) 拡張性に欠ける、または(3) ログ損失やPrecision-Recall曲線下面積(PRAUC)などの他のモデル性能指標を損なう可能性があるためだと我々は主張する。MCGradは保護グループの明示的な指定を必要とせず、拡張性が高く、多くの場合、他のML評価指標を損なうどころか改善する。MCGradはMetaにおいて本番環境で使用されており、現在では数百もの本番モデルの一部となっている。これらの導入事例からの結果と、公開データセットの結果を示す。
原文（英語）を表示
Title (EN): MCGrad:: Multicalibration at Web Scale
arXiv:2509.19884v1 Announce Type: new
Abstract: We propose MCGrad, a novel and scalable multicalibration algorithm. Multicalibration – calibration in sub-groups of the data – is an important property for the performance of machine learning-based systems. Existing multicalibration methods have thus far received limited traction in industry. We argue that this is because existing methods (1) require such subgroups to be manually specified, which ML practitioners often struggle with, (2) are not scalable, or (3) may harm other notions of model performance such as log loss and Area Under the Precision-Recall Curve (PRAUC). MCGrad does not require explicit specification of protected groups, is scalable, and often improves other ML evaluation metrics instead of harming them. MCGrad has been in production at Meta, and is now part of hundreds of production models. We present results from these deployments as well as results on public datasets.
Published: 2025-09-24 19:00 UTC