HiCoLoRA：ゼロショットDSTに向けた階層型協調LoRAによるコンテキストプロンプト不一致への対処
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2509.19742v1発表タイプ: クロス
要旨: ゼロショットダイアログ状態追跡 (zs-DST) は、タスク指向型ダイアログシステム (TOD) が高コストなデータアノテーションなしで新しいドメインに一般化することを可能にする上で不可欠です。中心的な課題は、動的なダイアログコンテキストと静的なプロンプト間の意味的なずれであり、これは柔軟性に欠けたレイヤー間の調整、ドメイン干渉、そして壊滅的な忘却につながります。これに対処するために、本稿では、堅牢なプロンプトアラインメントを通じてゼロショットスロット推論を強化するフレームワークである階層型協調低ランク適応 (HiCoLoRA) を提案します。これは、動的なレイヤー固有のプロセスのための階層型LoRAアーキテクチャ（下位レイヤーのヒューリスティックなグループ化と上位レイヤーの完全な相互作用を組み合わせる）、転送可能な関連性を特定するスペクトル結合ドメイン・スロットクラスタリング（適応型線形融合メカニズムにフィードする）、そして事前学習済み知識を保持する意味拡張SVD初期化 (SemSVD-Init) を特徴としています。マルチドメインデータセットMultiWOZとSGDに関する実験により、HiCoLoRAはベースラインを凌駕し、zs-DSTにおいて最先端の結果を達成することが示されました。コードはhttps://github.com/carsonz/HiCoLoRAで公開されています。
原文（英語）を表示
Title (EN): HiCoLoRA: Addressing Context-Prompt Misalignment via Hierarchical Collaborative LoRA for Zero-Shot DST
arXiv:2509.19742v1 Announce Type: cross
Abstract: Zero-shot Dialog State Tracking (zs-DST) is essential for enabling Task-Oriented Dialog Systems (TODs) to generalize to new domains without costly data annotation. A central challenge lies in the semantic misalignment between dynamic dialog contexts and static prompts, leading to inflexible cross-layer coordination, domain interference, and catastrophic forgetting. To tackle this, we propose Hierarchical Collaborative Low-Rank Adaptation (HiCoLoRA), a framework that enhances zero-shot slot inference through robust prompt alignment. It features a hierarchical LoRA architecture for dynamic layer-specific processing (combining lower-layer heuristic grouping and higher-layer full interaction), integrates Spectral Joint Domain-Slot Clustering to identify transferable associations (feeding an Adaptive Linear Fusion Mechanism), and employs Semantic-Enhanced SVD Initialization (SemSVD-Init) to preserve pre-trained knowledge. Experiments on multi-domain datasets MultiWOZ and SGD show that HiCoLoRA outperforms baselines, achieving SOTA in zs-DST. Code is available at https://github.com/carsonz/HiCoLoRA.
Published: 2025-09-24 19:00 UTC