arXiv cs.AI· Pengpeng Qiao, Yang Cao, Lingling Zhang, Guo Cheng, Junwei Chen, Manjiang Yu, Wei Yang Bryan Lim, Masatoshi Yoshikawa·· 11 小时前AI 评分31
FedAbA：面向异构秩的基一致联邦 LoRA 聚合框架
Align Before Aggregation: Basis-Consistent Federated LoRA under Heterogeneous Ranks
AI 导读
FedAbA 提出一种基一致的联邦 LoRA 聚合框架，用于解决异构秩客户端下 LoRA 因子基不一致导致的低秩客户端参考前缀不稳定问题。该方法先提取各客户端局部基并对齐到全局参考基的对应前缀，再按数据量与一致性得分加权聚合，随后经精确系数空间 SVD 重分解与规范固定后分发秩前缀。实验显示其优于代表性联邦 LoRA 基线，秩异质性越强增益越大，论文已被 NeurIPS 2026 接收。
正文 · AI 翻译
摘要：在客户端能力异构的情况下，对大型语言模型（LLMs）进行联邦微调正变得越来越重要，而采用异构秩的低秩适配（LoRA）使其变得切实可行。现有的服务器端聚合器会先根据客户端特定的 LoRA 因子 $(A_i,B_i)$ 组合出本地矩阵更新 $\Delta W_i$，然后再对它们进行聚合。尽管这些矩阵更新位于相同的权重空间 $\mathbb{R}^{m\times n}$ 中，可以直接取平均，但生成它们的 LoRA 因子可能表示的是客户端特定的局部基。在典型的组合--聚合--分解--分发循环中，这种基不一致会使服务器端重新分解后分发给低秩客户端的秩为 $r_i$ 的参考前缀变得不稳定。在这项工作中，我们提出了 \textbf{FedAbA}，一个面向异构秩的基一致联邦 LoRA 聚合框架。FedAbA 首先提取每个客户端的局部基，将其与全局参考基的对应前缀对齐，并在聚合前为每个局部矩阵更新构建基一致的重构。然后，它使用结合客户端数据大小和一致性分数的权重来聚合这些重构，随后在秩前缀分发之前进行精确的系数空间 SVD 重新分解和规范固定。我们的理论分析阐明了基一致性的作用，并支持所提出的一致性感知聚合机制。大量实验表明，FedAbA 优于具有代表性的联邦 LoRA 基线，在秩异质性最强时增益最大。
| 评论： | 被 NeurIPS 2026 接收 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.07598 [cs.AI] |
| （或 arXiv:2611.07598v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07598 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Pengpeng Qiao [查看电子邮件]
[v1]
2026年11月5日星期四 07:46:29 UTC（511 KB）
来源：arXiv cs.AI · arxiv.org