arXiv cs.AI· Yin-Kuan Liang, Yan Gao, Yang Long·· 9 天前AI 评分22
去中心化学习的规模效应：客户端数量、数据分配与拓扑演化如何耦合
Population Scaling or Data Dilution? Dynamics of Local Topology Evolution in Decentralized Learning
AI 导读
研究在 CIFAR-10 上以 N∈{10,50,100,200} 对比 Ring、Static Random 与 LFHE 三种拓扑，发现固定本地数据集大小时，人口规模带来的性能惩罚会大幅减弱。
正文 · AI 翻译
摘要：去中心化学习的规模化不仅改变了客户端数量 $N$，也改变了信息传播与共识的动态过程。我们认为，增加 $N$ 的影响不能孤立地理解，因为数据分配、依赖拓扑的混合以及通信容量可能同时发生变化。我们在 CIFAR-10 上研究了这些耦合效应，取 $N\in\{10,50,100,200\}$，比较了度为二的 Ring、Static Random 图以及 Local-First Heuristic Evolution（LFHE）——一种基于朋友的朋友发现的局部自适应拓扑过程。Ring 提供了一种解析上透明的失效模式：其 Metropolis 谱隙以 $\Theta(N^{-2})$ 衰减，意味着随着群体规模增长，模型分歧的收缩逐渐变慢。实验表明，保持名义本地数据集大小固定，会大幅降低在固定总数据集被分配给更多客户端时所观察到的表观群体惩罚。剩余的退化强烈依赖于通信结构：Ring 进入高分歧状态，而 Static Random 和 LFHE 则保持接近共识。提高 LFHE 的度阈值进一步提升了准确率和共识，但代价是模型传输成本大幅增加。这些结果表明，去中心化规模化受学习与通信耦合动态的支配，而非仅由客户端数量决定。
| Comments: | 11 页，6 幅图。被接收为 DynaFront @ NeurIPS 2026 的 poster |
| Subjects: | 机器学习（cs.LG）；人工智能（cs.AI） |
| Cite as: | arXiv:2610.05476 [cs.LG] |
| （或 arXiv:2610.05476v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.05476 由 DataCite 颁发的 arXiv DOI |
Submission history
来自：Yin-Kuan Liang [查看电子邮件]
[v1]
2026 年 10 月 4 日星期日 19:34:43 UTC（1,815 KB）
[v2]
2026 年 10 月 8 日星期四 11:36:03 UTC（1,817 KB）
来源：arXiv cs.AI · arxiv.org