FusedANN:属性ベクトル融合による凸状ハイブリッドANN
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2509.19767v1 発表種別:クロス
概要:ベクトル検索はトランスフォーマー技術を支えるが、現実世界の利用では、ベクトル類似性と属性フィルタ(例:「カテゴリーX、2023年の上位文書」)を組み合わせたハイブリッドクエリが必要となる。現在の解決策は、スケールしない脆弱なインデックスハックに依存し、再現率、速度、柔軟性のトレードオフを強いられる。本稿では、フィルタリングをANN最適化の制約に昇格させ、ラグランジュ的緩和を用いて凸融合空間を導入する幾何学的フレームワークであるFusedANN(Fused Attribute-Vector Nearest Neighbor)を提案する。本手法は、トランスフォーマーベースの凸化を通じて属性とベクトルを共同で埋め込み、ハードフィルタを連続的な重み付きペナルティに変換することで、上位k件のセマンティクスを維持しつつ、効率的な近似検索を可能にする。FusedANNは、高い選択率の下では正確なフィルタリングに帰着し、正確な一致が不十分な場合はセマンティック的に最も近い属性に自然に緩和され、下流のANN α近似保証を維持することを証明する。実験的に、FusedANNは脆弱なフィルタリング段階を排除することによりクエリスループットを向上させ、特殊なインデックスハックなしで標準的なハイブリッドベンチマークにおいて優れた再現率-レイテンシトレードオフを実現し、最先端のハイブリッドシステムおよびグラフベースシステムと比較して最大3倍のスループット向上と再現率向上を実現する。理論的には、FusedANNを実用的なものにする明示的な誤差限界とパラメータ選択ルールを提供する。これは、記号的制約とベクトル類似性の間の原理に基づいた、スケーラブルで検証可能な橋渡しを確立し、大規模で、ハイブリッドで、動的なNLP/MLワークロードのための新しい世代のフィルタリングされた検索システムを解き放つ。
原文(英語)を表示
Title (EN): FusedANN: Convexified Hybrid ANN via Attribute-Vector Fusion
arXiv:2509.19767v1 Announce Type: cross
Abstract: Vector search powers transformers technology, but real-world use demands hybrid queries that combine vector similarity with attribute filters (e.g., “top document in category X, from 2023”). Current solutions trade off recall, speed, and flexibility, relying on fragile index hacks that don’t scale. We introduce FusedANN (Fused Attribute-Vector Nearest Neighbor), a geometric framework that elevates filtering to ANN optimization constraints and introduces a convex fused space via a Lagrangian-like relaxation. Our method jointly embeds attributes and vectors through transformer-based convexification, turning hard filters into continuous, weighted penalties that preserve top-k semantics while enabling efficient approximate search. We prove that FusedANN reduces to exact filtering under high selectivity, gracefully relaxes to semantically nearest attributes when exact matches are insufficient, and preserves downstream ANN alpha-approximation guarantees. Empirically, FusedANN improves query throughput by eliminating brittle filtering stages, achieving superior recall-latency tradeoffs on standard hybrid benchmarks without specialized index hacks, delivering up to 3 times higher throughput and better recall than state-of-the-art hybrid and graph-based systems. Theoretically, we provide explicit error bounds and parameter selection rules that make FusedANN practical for production. This establishes a principled, scalable, and verifiable bridge between symbolic constraints and vector similarity, unlocking a new generation of filtered retrieval systems for large, hybrid, and dynamic NLP/ML workloads.
Published: 2025-09-24 19:00 UTC