CheckThat! 2025におけるAIRwaves：デュアルエンコーダとニューラルリランキングを用いたソーシャルメディア上の暗黙的言明に対する科学的情報源の検索
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2509.19509v1発表形式：クロス
要約：ソーシャルメディア上の暗黙的な科学的主張を元の出版物に関連付けることは、証拠に基づくファクトチェックと学術的な議論にとって極めて重要であるが、語彙の希少性、非常に短いクエリ、およびドメイン固有の言語によって妨げられている。Team AIRwavesは、CLEF-2025 CheckThat! Labのサブタスク4bにおいて、競合ベースラインを著しく上回る証拠検索アプローチにより2位を獲得した。最適化されたスパース検索ベースライン（BM25）は、ゴールドラベルのブラインドテストセットでMRR@5 = 0.5025を達成した。このベースラインを上回るために、二段階の検索パイプラインが導入された：（i）E5-largeに基づくデュアルエンコーダを使用し、バッチ内およびマイニングされた困難なネガティブを用いてファインチューニングされ、チャンク化されたトークン化と豊富な文書メタデータによって強化された第一段階；（ii）SciBERTクロスエンコーダを用いたニューラル再ランキング段階。純粋な語彙的照合をニューラル表現に置き換えることで、性能はMRR@5 = 0.6174に向上し、完全なパイプラインではさらにMRR@5 = 0.6828に向上した。これらの知見は、高密度検索とニューラル再ランキングを組み合わせることで、ツイートと研究論文のマッチングのための強力かつ効率的なソリューションが実現し、将来の証拠検索パイプラインのための実際的な設計図を提供することを示している。
原文（英語）を表示
Title (EN): AIRwaves at CheckThat! 2025: Retrieving Scientific Sources for Implicit Claims on Social Media with Dual Encoders and Neural Re-Ranking
arXiv:2509.19509v1 Announce Type: cross
Abstract: Linking implicit scientific claims made on social media to their original publications is crucial for evidence-based fact-checking and scholarly discourse, yet it is hindered by lexical sparsity, very short queries, and domain-specific language. Team AIRwaves ranked second in Subtask 4b of the CLEF-2025 CheckThat! Lab with an evidence-retrieval approach that markedly outperforms the competition baseline. The optimized sparse-retrieval baseline(BM25) achieves MRR@5 = 0.5025 on the gold label blind test set. To surpass this baseline, a two-stage retrieval pipeline is introduced: (i) a first stage that uses a dual encoder based on E5-large, fine-tuned using in-batch and mined hard negatives and enhanced through chunked tokenization and rich document metadata; and (ii) a neural re-ranking stage using a SciBERT cross-encoder. Replacing purely lexical matching with neural representations lifts performance to MRR@5 = 0.6174, and the complete pipeline further improves to MRR@5 = 0.6828. The findings demonstrate that coupling dense retrieval with neural re-rankers delivers a powerful and efficient solution for tweet-to-study matching and provides a practical blueprint for future evidence-retrieval pipelines.
Published: 2025-09-24 19:00 UTC