arXiv cs.AI· Shudi Weng, Chao Ren, Ming Xiao, Mikael Skoglund·· 6 天前AI 评分22
FedACS：面向异构联邦学习的最优高效客户端采样方法
Heterogeneity-Aware Client Sampling for Optimal and Efficient Federated Learning
AI 导读
针对联邦学习中通信与计算异构性共同导致的目标不一致问题，研究者首次给出通用异构联邦学习的统一理论分析，揭示两类异构性扭曲优化轨迹的不同机制。据此提出客户端采样方法 FedACS，可消除各类目标不一致，理论上以 O(1/√R) 速率收敛到正确最优解。实验显示其优于 SOTA 及类别专用基线 4.3%-36%，通信成本降低 22%-89%，计算负载降低 14%-105%。
正文 · AI 翻译
摘要：联邦学习（FL）通常涉及通信和计算能力各异的客户端。这种异构性会显著扭曲优化动态，并导致目标不一致，即全局模型收敛到一个错误的驻点，可能远离所追求的最优解。尽管其影响至关重要，但由于通信与计算异构性之间相互作用的内在复杂性，二者的联合效应在很大程度上仍未得到探索。在本文中，我们揭示了异构通信和计算驱动联邦学习中不一致性的根本不同机制。据我们所知，这是对一般异构联邦学习的首个统一理论分析，为理解这两种异构性如何在任意选择本地求解器的情况下共同扭曲优化轨迹提供了有原则的认识。受这些见解启发，我们提出了联邦异构感知客户端采样（FedACS），一种消除所有类型目标不一致的通用方法。我们从理论上证明，即使在动态异构环境中，FedACS 也能以 $O(1/\sqrt{R})$ 的速率收敛到正确的最优解。在多个数据集上的大量实验表明，FedACS 比最先进的和类别特定的基线方法性能高出 4.3%-36%，同时分别将通信成本降低 22%-89%，计算负载降低 14%-105%。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2505.11304 [cs.LG] |
| （或 arXiv:2505.11304v4 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2505.11304 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Shudi Weng [查看邮箱]
[v1]
2025年5月16日星期五 14:31:36 UTC（1,124 KB）
[v2]
2026年2月16日星期一 06:46:40 UTC（585 KB）
[v3]
2026年2月22日星期日 05:58:59 UTC（580 KB）
[v4]
2026年10月9日星期五 01:27:04 UTC（1,377 KB）
来源：arXiv cs.AI · arxiv.org