Can Constructions 「SCAN」の構成性を分析できるか？
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2509.20074v1発表、新規。
要約：シーケンスツーシーケンスモデルは、多くの他のタスクで優れた性能を示す一方で、構成性と体系的な一般化においては苦戦している。我々は、この限界を、意味の対を構成する慣習化された構成を内部化することに失敗したことによるものと考えている。これらの知見に基づき、我々は擬似構成をマイニングするための教師なしの手順を導入する。これは、トレーニングデータから自動的に抽出された可変スロットテンプレートである。SCANデータセットに適用した場合、この手法は、分布外分割において大きな改善をもたらす。ADD JUMPでは精度が47.8%に、AROUND RIGHTでは20.3%に向上し、アーキテクチャの変更や追加の監視は一切行わなかった。また、元のトレーニングデータの40%を用いても競争力のある性能を達成し、高いデータ効率を示した。これらの知見は、高度なアーキテクチャやトレーニング体制の介入に代わるものとして、構成を認識した前処理の可能性を浮き彫りにしている。
原文（英語）を表示
Title (EN): Can Constructions “SCAN” Compositionality ?
arXiv:2509.20074v1 Announce Type: new
Abstract: Sequence to Sequence models struggle at compositionality and systematic generalisation even while they excel at many other tasks. We attribute this limitation to their failure to internalise constructions conventionalised form meaning pairings that license productive recombination. Building on these insights, we introduce an unsupervised procedure for mining pseudo-constructions: variable-slot templates automatically extracted from training data. When applied to the SCAN dataset, our method yields large gains out-of-distribution splits: accuracy rises to 47.8 %on ADD JUMP and to 20.3% on AROUND RIGHT without any architectural changes or additional supervision. The model also attains competitive performance with? 40% of the original training data, demonstrating strong data efAciency. Our findings highlight the promise of construction-aware preprocessing as an alternative to heavy architectural or training-regime interventions.
Published: 2025-09-24 19:00 UTC