arXiv cs.AI· Shuaijun Chen, Omid Tavallaie, Xin Chen, Wentao Gao, Nguyen Tran, Albert Y. Zomaya·· 10 小时前AI 评分27
RBLA+：面向异构客户端联邦微调的高效秩特定 LoRA 适配器提取方法
RBLA+: Efficient Rank-Specific LoRA Adapter Extraction for Federated Fine-Tuning with Heterogeneous Clients
AI 导读
RBLA+ 是一种面向异构客户端联邦微调的秩特定 LoRA 适配器提取方法，通过紧凑 QR/core-SVD 分解在不构建稠密更新的情况下最小化提取 LoRA 更新的 Frobenius 误差。
正文 · AI 翻译
摘要：基于低秩适应（LoRA）的联邦微调通过训练并交换紧凑的可训练 LoRA 因子，降低了通信与计算开销。客户端可能使用不同的 LoRA 秩，以满足适配器通信预算并适应不同的本地适配需求。服务器必须在聚合过程中处理这些差异，并在每个客户端的秩上构建适配器以供本地训练。我们区分了聚合前对齐（在聚合前处理因子维度和缩放约定）与特定秩 LoRA 适配器提取（从聚合后的全局模型构建客户端规模的因子对）。两种常见的特定秩提取方法是直接秩截断和稠密更新的奇异值分解（SVD）。直接前缀截断保留一个聚合因子的前导列和另一个因子的对应行。它成本低，但可能增加重构误差。稠密 SVD 方法首先形成聚合 LoRA 因子的乘积。然后分解该矩阵并保留前导奇异分量，以在目标秩上构建适配器。这在 Frobenius 范数下给出了最优的秩约束近似，但会带来显著的计算开销。为了解决这一权衡，我们提出 RBLA+ 作为 RBLA 的扩展。它使用已有的紧凑 QR/核心-SVD 分解，在不形成稠密更新的情况下最小化所提取 LoRA 更新的 Frobenius 误差。它还在上传和广播过程中考虑了客户端和服务器的缩放约定。在视觉和语言任务中，RBLA+ 在多种异构设置下比 RBLA 提高了准确率。在使用合成适配器的 CPU 基准测试中，RBLA+ 的提取时间低于稠密部分 SVD 基线。RBLA+ 保持了每个客户端规定的适配器大小和每轮通信负载。
| 学科： | 人工智能（cs.AI）；分布式、并行与集群计算（cs.DC） |
| 引用为： | arXiv:2611.12961 [cs.AI] |
| （或 arXiv:2611.12961v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.12961 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shuaijun Chen [查看电子邮件]
[v1]
2026年11月7日星期六 10:04:58 UTC（710 KB）
来源：arXiv cs.AI · arxiv.org