arXiv cs.AI· Disen Liao, Yaoliang Yu·· 11 小时前AI 评分34
重新思考 LoRA 初始化：面向稳健非对称学习率的初始化方法
Rethinking LoRA Initialization for Robust Asymmetric Learning Rates
AI 导读
研究提出一种新的 LoRA 初始化方法，通过将 A 矩阵方差按 σ_A² ∝ n⁻² 缩放并保持 B₀=0，把初始化噪声能量再降低 1/n，从而稳定 LoRA+ 的非对称学习率训练。该方法在多种初始化尺度、adapter rank 和 LoRA 更新倍数下显著拓宽稳定学习率区间，减少最优比例漂移，并避免标准初始化下高比例导致的不稳定与性能崩溃。
正文 · AI 翻译
摘要：低秩适应（LoRA）通常对学习率（LR）的选择高度敏感。近期的实证研究表明，一旦仔细调整学习率，原版 LoRA 仍可与许多提出的 LoRA 变体保持竞争力。这将核心的实际问题从设计更多变体转变为降低学习率选择的成本和脆弱性。LoRA+ 通过非对称学习率解决这一问题，对上投影矩阵 $B$ 使用比下投影矩阵 $A$ 更大的学习率。然而，比率 $\eta_B / \eta_A$ 本身成为额外的超参数：较大的比率可以改善适应，但在标准 LoRA 初始化下，它们也可能导致训练不稳定和依赖比率的性能崩溃。我们通过对 LoRA 动态进行信号-噪声分解，找出了这种脆弱性的来源。在标准 \initA 下，更新包含一个由初始化引起的噪声项，其幅度可能受到 $B$ 的学习率 $\eta_B$、初始化尺度 $\beta$ 和适配器秩 $r$ 的影响。在实际的 LLM 微调中，这种非消失噪声可能限制 LoRA+ 风格非对称学习率所预期的性能提升。为了抑制这一效应，我们提出了 \initAA，一种简单的初始化方法，将 $A$ 的方差缩放为 $\sigma_A^2 \propto n^{-2}$，同时保持 $B_0=0$。在两种初始化匹配秩和训练时间的情况下，这将初始化噪声能量额外降低 $1/n$ 倍，稳定了非对称 LoRA 训练，同时保持初始适配器输出为零。在实证上，\initAA 在初始化尺度、适配器秩和 LoRA 更新乘数方面大幅拓宽了稳定学习率区域。在不同任务和模型上，\initAA 减少了最佳比率漂移，防止了标准 \initA 下观察到的高比率崩溃，并使基于宽度的指导原则 $\eta_B \approx n \eta_A$ 成为有限预训练模型的有用起点。
| 评论： | 46 页，13 张图，NeurIPS 2026 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.32142 [cs.LG] |
| （或 arXiv:2610.32142v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32142 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Disen Liao [查看电子邮件]
[v1]
2026 年 10 月 23 日星期五 04:15:33 UTC（2,330 KB）
来源：arXiv cs.AI · arxiv.org