研究：LoRA秩不控制模型容量

Babak Barazandeh 提交的论文分析 LoRA 低秩适配中秩的作用，结论是：在逐因子范数硬约束下，秩 r 并不控制模型容量。 论文称，可达到的更新恰为核范数球内秩不超过 r 的矩阵；所分析的复杂度与位移泛函均由秩一更新取到最大值，秩上限从不生效。这挑战了“秩越小模型越简单、泛化越好”的常见假设。

AI 根据报道生成 · 52 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。