事前学習済みシンボリック回帰における一般化の分析
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2509.19849v1発表種別：クロス
要約：数式回帰アルゴリズムは、与えられたデータを説明する数式を数学的表現空間で探索します。Transformerベースのモデルは、コストのかかる組み合わせ探索を大規模な事前学習段階に移行する有望で拡張可能なアプローチとして台頭しています。しかし、これらのモデルの成功は、その事前学習データに大きく依存しています。この事前学習分布外の課題への一般化能力は、ほとんど解明されていません。本研究では、事前学習済みTransformerベースの数式回帰の一般化能力を評価するため、体系的な実験的研究を実施しました。いくつかの最先端アプローチについて、事前学習分布内と分布外課題の両方で厳密に性能をテストしました。その結果、事前学習済みモデルは分布内では良好な性能を示す一方で、分布外シナリオでは性能が常に低下するという顕著な二分法が明らかになりました。この一般化ギャップは、実世界の応用における事前学習済みアプローチの実用性を著しく制限するため、実務家にとって重大な障壁であると結論付けます。
原文（英語）を表示
Title (EN): Analyzing Generalization in Pre-Trained Symbolic Regression
arXiv:2509.19849v1 Announce Type: cross
Abstract: Symbolic regression algorithms search a space of mathematical expressions for formulas that explain given data. Transformer-based models have emerged as a promising, scalable approach shifting the expensive combinatorial search to a large-scale pre-training phase. However, the success of these models is critically dependent on their pre-training data. Their ability to generalize to problems outside of this pre-training distribution remains largely unexplored. In this work, we conduct a systematic empirical study to evaluate the generalization capabilities of pre-trained, transformer-based symbolic regression. We rigorously test performance both within the pre-training distribution and on a series of out-of-distribution challenges for several state of the art approaches. Our findings reveal a significant dichotomy: while pre-trained models perform well in-distribution, the performance consistently degrades in out-of-distribution scenarios. We conclude that this generalization gap is a critical barrier for practitioners, as it severely limits the practical use of pre-trained approaches for real-world applications.
Published: 2025-09-24 19:00 UTC