Kron-LoRA：スケーラブルで持続可能なファインチューニングのためのハイブリッドKronecker-LoRAアダプター
なぜ重要か: 企業や社会への影響が見込まれ、一般メディアにも波及する可能性があります。
arXiv:2508.01961v2発表タイプ：代替クロス
概要：多数のタスクにわたる大規模事前学習済み言語モデルのファインチューニングには、パラメータ効率と表現力の両方を兼ね備えたアダプターが必要です。本研究では、Kronecker構造因数分解と低ランクLoRA圧縮を組み合わせたハイブリッドアダプターである**Kron-LoRA**を提案します。これは、パラメータ効率の高いファインチューニングや行列近似の文献において、これまで検討されていない組み合わせです。Kron-LoRAは、標準的なLoRAと比較して最大4倍のパラメータ削減を実現しながら、同様の表現力を維持します。DistilBERT、Mistral-7B、LLaMA-2-7B、LLaMA-3-8Bを用いた8つのベンチマークに関する実験では、Kron-LoRAは、わずかなメモリ節約と5～8％の速度オーバーヘッドのみで、LoRAベースラインと同等以上のパフォーマンスを示しました。逐次ファインチューニングにおいても、アダプターパラメータのわずか4分の1しか使用しないにもかかわらず、競争力のあるクロス・タスク転移を実現します。したがって、Kron-LoRAは大規模言語モデルのマルチタスク適応のためのスケーラブルで持続可能なソリューションを提供します。
原文（英語）を表示
Title (EN): Kron-LoRA: Hybrid Kronecker-LoRA Adapters for Scalable, Sustainable Fine-tuning
arXiv:2508.01961v2 Announce Type: replace-cross
Abstract: Fine-tuning massive pre-trained language models across many tasks demands adapters that are both parameter-efficient and expressive. We introduce \textbf{Kron-LoRA}, a hybrid adapter that combines Kronecker-structured factorization with low-rank LoRA compression-an integration that, to our knowledge, has not been explored in parameter-efficient fine-tuning or in matrix approximation literature. Kron-LoRA achieves up to 4$\times$ fewer parameters than standard LoRA while retaining similar expressivity. Experiments on DistilBERT, Mistral-7B, LLaMA-2-7B, and LLaMA-3-8B across eight benchmarks show that Kron-LoRA matches or exceeds LoRA baselines with modest memory savings and only a 5-8\% speed overhead. In sequential fine-tuning, it also delivers competitive cross-task transfer despite using only one-quarter of the adapter parameters. Kron-LoRA thus offers a scalable, sustainable solution for multi-task adaptation of large language models.
Published: 2025-09-24 19:00 UTC