EmbeddingGemma：強力かつ軽量なテキスト表現
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2509.20354v1発表形式：クロス
概要：本稿では、Gemma 3言語モデルファミリーを基にした、軽量でオープンな新たなテキスト埋め込みモデル、EmbeddingGemmaを紹介する。革新的な訓練レシピにより、エンコーダー・デコーダー初期化と幾何学的埋め込み蒸留を用いて、大規模モデルからの知識を戦略的に獲得する。分散型正則化によりモデルの堅牢性と表現力を向上させ、多様な最適化された混合モデルのチェックポイントを統合することで汎化性を確保する。多言語、英語、コード領域におけるMassive Text Embedding Benchmark (MTEB) で評価した結果、EmbeddingGemma (300M) は最先端の結果を達成した。特に、5億パラメータ未満の既存の最上位モデル（独自開発とオープンソースの両方）を凌駕し、倍のサイズを持つモデルと同等の性能を示し、優れた性能コスト比を実現する。注目すべきは、モデル重みを量子化したり、埋め込み出力を切り詰めたりしても、この優位性が維持される点である。このため、EmbeddingGemmaは、オンデバイスアプリケーションなどの低遅延かつ高スループットなユースケースに特に適している。主要な設計選択を検討したアブレーションスタディも提示する。更なる研究促進のため、EmbeddingGemmaをコミュニティに公開する。
原文（英語）を表示
Title (EN): EmbeddingGemma: Powerful and Lightweight Text Representations
arXiv:2509.20354v1 Announce Type: cross
Abstract: We introduce EmbeddingGemma, a new lightweight, open text embedding model based on the Gemma 3 language model family. Our innovative training recipe strategically captures knowledge from larger models via encoder-decoder initialization and geometric embedding distillation. We improve model robustness and expressiveness with a spread-out regularizer, and ensure generalizability by merging checkpoints from varied, optimized mixtures. Evaluated on the Massive Text Embedding Benchmark (MTEB) across multilingual, English, and code domains, EmbeddingGemma (300M) achieves state-of-the-art results. Notably, it outperforms prior top models, both proprietary and open, with fewer than 500M parameters, and provides performance comparable to models double its size, offering an exceptional performance-to-cost ratio. Remarkably, this lead persists when quantizing model weights or truncating embedding outputs. This makes EmbeddingGemma particularly well-suited for low-latency and high-throughput use cases such as on-device applications. We provide ablation studies exploring our key design choices. We release EmbeddingGemma to the community to promote further research.
Published: 2025-09-24 19:00 UTC