arXiv cs.AI· Babak Barazandeh·· 11 小时前AI 评分31
LoRA 的秩到底买到了什么？低秩适配的谱与分布分析
What Does the Rank Buy? A Spectral and Distributional Analysis of Low-Rank Adaptation
AI 导读
研究指出，在逐因子范数硬约束下，LoRA 的秩 r 并不控制模型容量：可达到的更新恰为核范数球内秩不超过 r 的矩阵，而所分析的复杂度与位移泛函均由秩一更新取到最大值，秩上限从不生效。
正文 · AI 翻译
摘要：LoRA 中的秩 $r$ 被广泛视为一种容量控制：较小的秩被认为会产生更简单、泛化更好的模型。我们表明，在逐因子范数硬预算下——即实践中使用的权重衰减和范数控制的理想化——这种直觉不再成立。原因是结构性的：在这种预算下，LoRA 能够达到的更新恰好是核范数球内秩至多为 $r$ 的矩阵，而我们分析的所有复杂度和位移泛函都在该集合上由秩一更新取到最大值——因此秩上限从未真正起作用。后果直接随之而来。我们研究的线性读出模型类对每个 $r \ge 1$ 都相同，其 Rademacher 复杂度不依赖于 $r$，并且适应过程能使源分布移动的距离服从一个与秩无关的上界，我们证明该上界是紧的。如果秩不控制容量，那它在哪里起作用？我们确定了两个地方。在统计上，用对乘积的联合预算替代逐因子预算，可以恢复一个依赖数据、对秩敏感的复杂度界——尽管这种增益只出现在分布良好的特征分布中，最坏情况仍然与秩无关。在谱上，秩决定了适应的代价：抵消预训练权重的主导奇异方向既需要足够的秩，也需要足够的预算。我们给出了达到所需源—目标对齐的最小秩的界，其上下界在双侧谱衰减下相匹配。总之，这些结果将秩重新解释为决定哪些更新可达以及抵消的代价——而不是模型拥有多少容量。
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG）；机器学习（stat.ML） |
| 引用为： | arXiv:2609.32002 [cs.AI] |
| （或本版本的 arXiv:2609.32002v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2609.32002 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Babak Barazandeh [查看邮箱]
[v1]
2026年9月25日星期五 21:06:02 UTC（41 KB）
[v2]
2026年10月19日星期一 18:18:15 UTC（483 KB）
来源：arXiv cs.AI · arxiv.org