TensLoRA：低ランク適応のためのテンソル代替手法
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2509.19391v1発表タイプ: クロス
概要: Low-Rank Adaptation (LoRA)は、訓練可能な低ランク行列をアテンション投影に追加することで、Transformerを効率的に適応させるために広く用いられている。効果的である一方、これらの行列は、各アテンション投影（Query、Key、Value）および各レイヤーにおいて独立しているとみなされている。最近の拡張では、結合されたテンソルベースの適応が検討されているが、限定的な形態であり、体系的な枠組みは存在しない。本稿では、LoRA更新を高次テンソルに集約し、テンソルベースの低ランク適応の広範なファミリをモデル化する統一フレームワークであるTensLoRAを提案する。本手法は既存のテンソルベース手法を一般化し、モード固有の圧縮率を可能にすることで、モダリティとタスクに応じてパラメータ予算を調整できる。ビジョンと言語のベンチマークに関する実験により、テンソル構成はパフォーマンスに直接影響し、場合によっては同様のパラメータ数の下で標準LoRAよりも優れた結果を示すことが明らかになった。
原文（英語）を表示
Title (EN): TensLoRA: Tensor Alternatives for Low-Rank Adaptation
arXiv:2509.19391v1 Announce Type: cross
Abstract: Low-Rank Adaptation (LoRA) is widely used to efficiently adapt Transformers by adding trainable low-rank matrices to attention projections. While effective, these matrices are considered independent for each attention projection (Query, Key, and Value) and each layer. Recent extensions have considered joint, tensor-based adaptations, but only in limited forms and without a systematic framework. We introduce TensLoRA, a unified framework that aggregates LoRA updates into higher-order tensors and models a broad family of tensor-based low-rank adaptations. Our formulation generalizes existing tensor-based methods and enables mode-specific compression rates, allowing parameter budgets to be tailored according to the modality and task. Experiments on vision and language benchmarks reveal that the tensor construction directly impacts performance, sometimes better than standard LoRA under similar parameter counts.
Published: 2025-09-24 19:00 UTC