EmbeddingGemma：強力かつ軽量なテキスト表現
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2509.20354v1発表タイプ: クロス
概要：本稿では、Gemma 3言語モデルファミリーに基づく、軽量でオープンな新しいテキスト埋め込みモデル、EmbeddingGemmaを紹介します。革新的なトレーニングレシピにより、エンコーダデコーダ初期化と幾何学的埋め込み蒸留を通じて、大規模モデルからの知識を戦略的に取得します。広がりを持つ正則化項を用いてモデルの堅牢性と表現力を向上させ、多様な最適化された混合物からのチェックポイントをマージすることで汎化性を確保しました。多言語、英語、コードの各ドメインにおけるMassive Text Embedding Benchmark (MTEB) で評価した結果、EmbeddingGemma (300M) は最先端の結果を達成しました。特に、5億パラメータ未満の既存の最上位モデル（独自開発およびオープンソースのもの両方）を上回り、倍のサイズを持つモデルと同等の性能を示し、優れた性能コスト比を実現しています。注目すべきは、モデル重みを量子化したり、埋め込み出力を切り捨てたりした場合でも、この優位性が維持される点です。このため、EmbeddingGemmaは、オンデバイスアプリケーションなど、低遅延かつ高スループットなユースケースに特に適しています。主要な設計選択に関する ablation study も示します。さらなる研究促進のため、EmbeddingGemmaをコミュニティに公開します。
原文（英語）を表示
Title (EN): EmbeddingGemma: Powerful and Lightweight Text Representations
arXiv:2509.20354v1 Announce Type: cross
Abstract: We introduce EmbeddingGemma, a new lightweight, open text embedding model based on the Gemma 3 language model family. Our innovative training recipe strategically captures knowledge from larger models via encoder-decoder initialization and geometric embedding distillation. We improve model robustness and expressiveness with a spread-out regularizer, and ensure generalizability by merging checkpoints from varied, optimized mixtures. Evaluated on the Massive Text Embedding Benchmark (MTEB) across multilingual, English, and code domains, EmbeddingGemma (300M) achieves state-of-the-art results. Notably, it outperforms prior top models, both proprietary and open, with fewer than 500M parameters, and provides performance comparable to models double its size, offering an exceptional performance-to-cost ratio. Remarkably, this lead persists when quantizing model weights or truncating embedding outputs. This makes EmbeddingGemma particularly well-suited for low-latency and high-throughput use cases such as on-device applications. We provide ablation studies exploring our key design choices. We release EmbeddingGemma to the community to promote further research.
Published: 2025-09-24 19:00 UTC