arXiv cs.AI· Saber Malekmohammadi, Kevin Kuo, Virginia Smith, Golnoosh Farnadi·· 10 小时前AI 评分31
SPRA-LoRA：面向联邦 LoRA 的随机投影与秩感知学习率
Stochastic Projections and Rank-Aware Learning Rates for Federated LoRA
AI 导读
研究者提出 SPRA-LoRA，一种联邦 LoRA 微调策略：在客户端冻结并周期性重采样 LoRA 的 A 矩阵，解耦 A、B 梯度，将计算与上行通信开销降低 50%。理论分析表明，冻结 A 后梯度信噪比随适应秩 r 线性增长，因此客户端学习率需按秩动态缩放。实验显示该方法在客户端开销减半的情况下持续优于 SOTA 基线。
正文 · AI 翻译
摘要：在资源受限的分布式客户端上微调大规模基础模型会带来显著的计算与通信挑战。虽然将低秩适应（LoRA）与联邦学习（FL）相结合可实现基于秩的灵活性，但适应矩阵（$\mathbf{A}$ 和 $\mathbf{B}$）之间的相互依赖往往使优化复杂化。在本工作中，我们从理论上证明，采用高斯初始化并冻结 $\mathbf{A}$ 矩阵的 LoRA 微调相当于全量微调的随机近似，其中批梯度会受到随机的、依赖于秩的扰动。受此启发，我们提出在客户端层面冻结并定期重采样 $\mathbf{A}$ 矩阵。该策略将 $\mathbf{A}$ 和 $\mathbf{B}$ 的梯度解耦，削弱了 LoRA 的低秩约束，并将计算与上行通信开销降低 50\%，从而可将资源重新分配给更高的适应秩。此外，我们证明在这种冻结 $\mathbf{A}$ 的机制下，适应秩 $r$ 直接决定受扰动梯度的信噪比（SNR）。具体而言，我们发现 SNR 随 $r$ 线性增长，这意味着客户端的学习率必须随其适应秩动态缩放以获得更高效用。基于这些基础，我们提出 SPRA-LoRA（随机投影秩感知 LoRA），一种联邦秩感知微调策略，利用冻结、重采样的 $\mathbf{A}$ 矩阵以及依赖于秩的客户端学习率。我们还证明了其在客户端资源异构情况下的收敛性。我们在基准数据集上的实验表明，SPRA-LoRA 以客户端一半的开销持续优于最先进的基线方法。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.13331 [cs.LG] |
| （或 arXiv:2611.13331v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13331 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Saber Malekmohammadi [查看邮箱]
[v1]
2026年11月9日星期一 22:58:41 UTC（4,054 KB）
来源：arXiv cs.AI · arxiv.org