arXiv cs.AI· Fa\"icel Chamroukhi, Nhat Thien Pham·· 3 天前AI 评分22
面向分布式混合专家模型的最优传输聚合方法
Optimal Transport Aggregation for Distributed Mixture-of-Experts
AI 导读
针对分布式数据集上独立训练的本地 MoE 模型难以合并的问题，研究者提出通过最小化期望传输散度，将未对齐专家的大混合模型压缩为 K 专家 MoE。该方法用 majorization-minimization 算法计算专家、再拟合门控网络，仅需单轮单向通信，聚合估计量与本地估计量同样具有一致性。模拟与真实数据实验显示，其精度接近集中式估计，计算时间仅为后者一小部分。
正文 · AI 翻译
摘要：本文考虑这样一种设定：局部专家混合（MoE）模型在分布式数据集上独立拟合，并且必须合并为单个全局 MoE 模型。对局部混合模型进行加权平均（其专家在不同机器之间未对齐）通常会得到一个包含许多专家而非 $K$ 个专家的大型混合模型，并且无法提供真实模型参数的估计量。我们提出通过最小化期望传输散度，将这个大型混合模型约简为 $K$ 个专家的 MoE，其中传输计划依赖于协变量。该问题的一个松弛将专家与门控网络分离：专家通过主化--最小化算法计算，该算法单调地降低目标函数，然后将门控网络拟合到由最优计划所隐含的门控上，并对由此产生的损失给出显式界。我们证明，只要局部估计量是一致的，聚合估计量就是一致的，而不要求局部模型在不同机器之间具有相同的标签。该过程只需要单次单向通信轮次。在模拟和真实数据上的实验表明，其精度接近集中式估计，而计算时间仅为其一小部分。我们的源代码可在 此 https URL 获取。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；分布式、并行与集群计算（cs.DC）；机器学习（stat.ML） |
| 引用为： | arXiv:2312.09877 [cs.LG] |
| （或 arXiv:2312.09877v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2312.09877 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Faicel Chamroukhi [查看电子邮件]
[v1]
2023年12月15日星期五 15:26:13 UTC（669 KB）
[v2]
2026年3月11日星期三 12:36:20 UTC（655 KB）
[v3]
2026年10月12日星期一 08:31:40 UTC（363 KB）
来源：arXiv cs.AI · arxiv.org