大規模言語モデルを用いた時間的テキスト付与グラフにおけるテキスト意味とグラフ構造の統合
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2503.14411v3発表タイプ：置換クロス
概要：時系列グラフニューラルネットワーク（TGNN）は時系列グラフモデリングにおいて著しい性能を示している。しかしながら、現実世界の時系列グラフはしばしば豊富なテキスト情報を持ち、時系列テキスト属性グラフ（TTAG）を生み出す。動的なテキスト意味論と進化するグラフ構造の組み合わせは、複雑性の増大をもたらす。既存のTGNNはテキストを静的に埋め込み、構造情報を優先的にエンコードするメカニズムに大きく依存しており、テキスト意味論の時間的進化と意味論と構造間の本質的な相互作用による相乗効果を無視している。これらの問題に対処するため、TTAGモデリングのために既存のTGNNをシームレスに拡張する柔軟なフレームワークである**CROSS**を提案する。CROSSは、TTAGモデリングプロセスを以下の2つの段階に分解することで設計されている：（i）時系列意味論抽出；（ii）意味論・構造情報統合。中心となるアイデアは、大規模言語モデル（LLM）を進化させ、テキスト空間における時系列意味論を動的に抽出し、意味論と構造の両方を統合した一貫性のある表現を生成することである。具体的には、CROSSフレームワークにおいて、ノードのテキスト近傍の進化するコンテキストの時系列意味論的理解を提供することで、意味論的ダイナミクスを促進する時系列意味論抽出器を提案する。続いて、上記抽出器と連携して、意味論的および構造的情報の両方を共同で考慮し、相互強化を促すことで、有益な表現を合成する意味論・構造共エンコーダを導入する。広範な実験により、CROSSは4つの公開データセットと1つの産業用データセットにおいて最先端の結果を達成し、時系列リンク予測において平均24.7％の絶対MRR向上、産業用途のノード分類において3.7％のAUC向上を示した。
原文（英語）を表示
Title (EN): Unifying Text Semantics and Graph Structures for Temporal Text-attributed Graphs with Large Language Models
arXiv:2503.14411v3 Announce Type: replace-cross
Abstract: Temporal graph neural networks (TGNNs) have shown remarkable performance in temporal graph modeling. However, real-world temporal graphs often possess rich textual information, giving rise to temporal text-attributed graphs (TTAGs). Such combination of dynamic text semantics and evolving graph structures introduces heightened complexity. Existing TGNNs embed texts statically and rely heavily on encoding mechanisms that biasedly prioritize structural information, overlooking the temporal evolution of text semantics and the essential interplay between semantics and structures for synergistic reinforcement. To tackle these issues, we present \textbf{CROSS}, a flexible framework that seamlessly extends existing TGNNs for TTAG modeling. CROSS is designed by decomposing the TTAG modeling process into two phases: (i) temporal semantics extraction; and (ii) semantic-structural information unification. The key idea is to advance the large language models (LLMs) to dynamically extract the temporal semantics in text space and then generate cohesive representations unifying both semantics and structures. Specifically, we propose a Temporal Semantics Extractor in the CROSS framework, which empowers LLMs to offer the temporal semantic understanding of node’s evolving contexts of textual neighborhoods, facilitating semantic dynamics. Subsequently, we introduce the Semantic-structural Co-encoder, which collaborates with the above Extractor for synthesizing illuminating representations by jointly considering both semantic and structural information while encouraging their mutual reinforcement. Extensive experiments show that CROSS achieves state-of-the-art results on four public datasets and one industrial dataset, with 24.7% absolute MRR gain on average in temporal link prediction and 3.7% AUC gain in node classification of industrial application.
Published: 2025-09-24 19:00 UTC