arXiv cs.AI· Evan Chen, Shiqiang Wang, Dong-Jun Han, Shahryar Zehtabi, Christopher Brinton·· 12 小时前AI 评分29
FA-GC：面向联邦自适应优化的梯度校正方法
Correcting Before Adapting: Gradient Correction for Federated Adaptive Optimization
AI 导读
研究者提出联邦自适应梯度校正方法 FA-GC，在梯度进入 Adam 等自适应优化器的滑动平均之前先做校正，而非像 FA-NT 那样只校正最终更新方向。理论证明在无梯度噪声的理想设定下，FA-GC 的方向仅在全局目标驻点处消失，且对 Adam 族、梯度归一化和 Muon 均给出不含客户端异质性项的收敛界。
正文 · AI 翻译
摘要：客户端漂移补偿方法可缓解联邦学习（FL）中数据异构性的影响。虽然漂移校正已在基于随机梯度下降（SGD）的联邦学习中得到充分研究，但其与自适应客户端优化器的交互仍鲜为人知。Adam 等自适应优化器基于过去梯度的滑动平均值构建每次更新，因此仅校正最终更新方向不会改变这些平均值及其包含的漂移。我们提出联邦自适应梯度校正（{\tt FA-GC}），在梯度进入这些滑动平均值之前对其进行校正，并将其与联邦自适应朴素跟踪（{\tt FA-NT}）进行比较，后者将校正添加到最终方向。我们证明，在无梯度噪声的理想化设置下，FA-GC 所遵循的方向仅在全局目标的驻点处消失，而当优化器为非线性时，FA-NT 所遵循的方向可能在其他位置消失。我们还证明了 FA-GC 对 Adam 系列方法、梯度归一化以及 Muon（对矩阵更新进行正交化）的收敛性。与我们对 FA-NT 的界不同，这些界不包含客户端异构性项。在七个图像和语言任务上，使用 Adam 的 FA-GC 平均需要最少的轮数即可达到目标精度，并且在三个图像任务上，其总通信量也少于未校正的本地 Adam 和 FA-NT。在采用 SOAP（在旋转基中应用 Adam）的 QNLI 问题蕴含任务以及强异构性下的 Muon 上，FA-GC 取得了最高精度，而 FA-NT 则低于未校正的优化器。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；分布式、并行与集群计算（cs.DC） |
| 引用为： | arXiv:2502.02727 [cs.LG] |
| （或 arXiv:2502.02727v4 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2502.02727 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Evan Chen [查看电子邮件]
[v1]
2025年2月4日星期二 21:21:30 UTC（705 KB）
[v2]
2025年2月8日星期六 14:01:17 UTC（705 KB）
[v3]
2025年5月18日星期日 02:48:18 UTC（1,366 KB）
[v4]
2026年10月26日星期一 15:41:52 UTC（4,952 KB）
来源：arXiv cs.AI · arxiv.org