arXiv cs.AI· Juseok Jeon, Ramy E. Ali, Doyun Kwon, Myungbeom Her, Jinhwi Kim, Jinhyun So·· 10 小时前AI 评分18
FedPA-LoRA：缓解异构联邦 LoRA 聚合与初始化误差的产品对齐框架
FedPA-LoRA: Product-Aligned Framework for Mitigating Aggregation and Initialization Errors in Heterogeneous Federated LoRA
AI 导读
FedPA-LoRA 提出一种产品对齐框架，同时缓解联邦 LoRA 中的聚合失配与因子级初始化失配，并为同构与异构秩建立收敛界。客户端跨轮保留本地因子以消除初始化失配，服务器在产品空间聚合异构秩更新并重建秩约束的全局适配器，无需形成稠密聚合。在异构秩下，GLUE 平均准确率提升 6.82 个百分点。
正文 · AI 翻译
摘要：低秩适应（LoRA）能够实现大语言模型的高效联邦微调，但其分解方式在聚合保真度与局部优化连续性之间产生了矛盾。按因子聚合会带来聚合失配，但能更好地保持因子连续性；而在乘积空间重建虽能减少这种失配，却以更大的因子级初始化失配为代价。我们提出 FedPA-LoRA，这是一个乘积对齐框架，可同时解决这两种失配，并为同构与异构秩建立收敛界。客户端在轮次间保留局部因子以消除初始化失配，并将其乘积与秩特定的全局参考对齐以减少客户端漂移。服务器在乘积空间聚合异构秩更新以缓解聚合失配，并高效重建秩约束的全局适配器，而无需形成稠密聚合。通过解耦局部秩与参考秩，FedPA-LoRA 支持客户端特定的计算与通信预算。在自然语言理解与生成任务上的实验表明，在数据与资源异构条件下均取得一致增益，包括在异构秩下 GLUE 平均准确率提升 6.82 个百分点。代码见 此 https URL。
| 注释： | 34 页，6 幅图。代码：此 https URL |
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2608.15381 [cs.AI] |
| （或 arXiv:2608.15381v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.15381 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Juseok Jeon [查看邮箱]
[v1]
2026 年 8 月 15 日星期六 19:20:31 UTC（525 KB）
[v2]
2026 年 10 月 30 日星期五 15:45:11 UTC（757 KB）
来源：arXiv cs.AI · arxiv.org