ShinkaEvolve：オープンエンドかつサンプル効率の良いプログラム進化に向けて
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2509.19349v1発表。概要：本稿では、最先端のパフォーマンスと前例のない効率性で科学的発見を促進するために、大規模言語モデル（LLM）を活用した新しいオープンソースフレームワーク、ShinkaEvolveを紹介する。LLMの推論時間計算のスケーリングにおける最近の進歩により、一般化された科学的発見において大きな進展が可能になった。これらのアプローチは、LLMを突然変異作用因子として活用して候補解を生成する進化型エージェントハーネスに依存している。しかし、現在のコード進化手法は、効果的な解決策を特定するために数千サンプルを必要とするサンプル効率の悪さ、および広範な採用と拡張を妨げるクローズドソースであるという重大な制限を抱えている。ShinkaEvolveはこれらの制限に対処し、探索と開発のバランスをとる親サンプリング手法、効率的な探索空間探索のためのコード新規性棄却サンプリング、およびバンディットベースのLLMアンサンブル選択戦略という3つの主要なイノベーションを紹介する。様々なタスクにおいてShinkaEvolveを評価し、サンプル効率と解決策の品質において一貫した改善を示す。ShinkaEvolveは、わずか150サンプルを使用して最先端の円充填解を発見し、AIME数学推論タスクに対して高性能のエージェントハーネスを設計し、ALE-Bench競技プログラミングソリューションの改善を特定し、最適化戦略の空間を明らかにする新しい混合専門家負荷分散損失関数を発見する。我々の結果は、ShinkaEvolveが例外的なサンプル効率で幅広い適用性を達成することを示している。オープンソースによるアクセシビリティとコスト効率を提供することにより、本研究は、多様な計算問題におけるオープンエンドな発見を民主化する。
原文（英語）を表示
Title (EN): ShinkaEvolve: Towards Open-Ended And Sample-Efficient Program Evolution
arXiv:2509.19349v1 Announce Type: new
Abstract: We introduce ShinkaEvolve: a new open-source framework leveraging large language models (LLMs) to advance scientific discovery with state-of-the-art performance and unprecedented efficiency. Recent advances in scaling inference time compute of LLMs have enabled significant progress in generalized scientific discovery. These approaches rely on evolutionary agentic harnesses that leverage LLMs as mutation operators to generate candidate solutions. However, current code evolution methods suffer from critical limitations: they are sample inefficient, requiring thousands of samples to identify effective solutions, and remain closed-source, hindering broad adoption and extension. ShinkaEvolve addresses these limitations, introducing three key innovations: a parent sampling technique balancing exploration and exploitation, code novelty rejection-sampling for efficient search space exploration, and a bandit-based LLM ensemble selection strategy. We evaluate ShinkaEvolve across diverse tasks, demonstrating consistent improvements in sample efficiency and solution quality. ShinkaEvolve discovers a new state-of-the-art circle packing solution using only 150 samples, designs high-performing agentic harnesses for AIME mathematical reasoning tasks, identifies improvements to ALE-Bench competitive programming solutions, and discovers novel mixture-of-expert load balancing loss functions that illuminate the space of optimization strategies. Our results demonstrate that ShinkaEvolve achieves broad applicability with exceptional sample efficiency. By providing open-source accessibility and cost-efficiency, this work democratizes open-ended discovery across diverse computational problems.
Published: 2025-09-24 19:00 UTC