arXiv cs.AI· Diyako Ghaderyan, Stefan Werner·· 1 天前AI 评分31
DPA：面向高度异构数据的去中心化原始平均与准全局动量算法
DPA: Decentralized Primal Averaging with Quasi-Global Momentum for Highly Heterogeneous Data
AI 导读
研究者提出去中心化学习算法 DPA，将原始平均与本地准全局动量缓冲结合，无需传输辅助跟踪变量即可构建网络感知的动量方向，并给出光滑非凸目标下的收敛界与线性加速条件。
正文 · AI 翻译
摘要：深度学习模型的去中心化训练使训练数据保留在本地，并支持通过网络进行设备端学习。在现实场景中，各智能体本地数据之间的异构性带来了优化挑战，并可能严重降低测试准确率，尤其是在稀疏通信图上。基于集中式原始平均的最新进展，我们提出了去中心化原始平均（DPA），这是一种将原始平均与本地准全局动量缓冲区相结合的去中心化学习算法。DPA 维护三个耦合序列，分别用于优化、梯度评估和输出平均，同时利用连续的混合迭代构造网络感知的动量方向，而无需传输辅助跟踪变量。对于光滑非凸目标，我们为 DPA 建立了收敛界，并确定了在足够多迭代次数下智能体数量实现线性加速的条件。我们还引入了 DPA-1G，这是一种每次迭代使用一轮通信的变体，其每次迭代的通信成本与 DSGD 风格基线相当。遵循 GUT 去中心化图像分类基准的实验表明，DPA 在不同数据集、架构、拓扑和异构水平下均优于 DSGD、梯度跟踪、QG-DSGDm、动量跟踪和 QG-GUTm，其中在稀疏环上的高异构性下增益最大。在相同总通信成本下，两种 DPA 变体在 CIFAR-10 和 CIFAR-100 上使用 ResNet-20 时均比最佳基线获得更高的平均测试准确率。我们的代码已公开。
| 评论： | 已被 NeurIPS 2026 接收。7 张图。代码可在 此 https URL 获取 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.16871 [cs.LG] |
| （或 arXiv:2611.16871v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.16871 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Diyako Ghaderyan [查看电子邮件]
[v1]
2026 年 11 月 12 日星期四 14:38:34 UTC（5,643 KB）
来源：arXiv cs.AI · arxiv.org