PIXELSを用いた意味言語モデリングにおける不確実性
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2509.19563v1 発表種別：新規
要約：ピクセルベース言語モデルは言語モデルにおける語彙ボトルネック問題の解決を目指しているが、不確実性定量の課題は依然として未解決である。本研究の新規性は、3つの意味的に困難なタスクの一部である18言語と7スクリプトにわたるピクセルベース言語モデルにおける不確実性と信頼性を分析することにある。これは、モンテカルロドロップアウト、Transformer Attention、アンサンブル学習などのいくつかの手法によって実現される。結果は、ピクセルベースモデルがパッチの再構成時に不確実性を過小評価していることを示唆している。不確実性はスクリプトの影響も受け、ラテン語系言語は不確実性が低いことを示している。アンサンブル学習に関する知見は、16言語にわたる固有表現認識と質問応答タスクにおいて、ハイパーパラメータチューニングを適用した場合、より良い性能を示すことを明らかにしている。
原文（英語）を表示
Title (EN): Uncertainty in Semantic Language Modeling with PIXELS
arXiv:2509.19563v1 Announce Type: new
Abstract: Pixel-based language models aim to solve the vocabulary bottleneck problem in language modeling, but the challenge of uncertainty quantification remains open. The novelty of this work consists of analysing uncertainty and confidence in pixel-based language models across 18 languages and 7 scripts, all part of 3 semantically challenging tasks. This is achieved through several methods such as Monte Carlo Dropout, Transformer Attention, and Ensemble Learning. The results suggest that pixel-based models underestimate uncertainty when reconstructing patches. The uncertainty is also influenced by the script, with Latin languages displaying lower uncertainty. The findings on ensemble learning show better performance when applying hyperparameter tuning during the named entity recognition and question-answering tasks across 16 languages.
Published: 2025-09-24 19:00 UTC