arXiv cs.AI· Peizhuang Cong, Aomufei Yuan, Shimao Chen, Yuxuan Tian, Bowen Ye, Yilun Yao, Tong Yang·· 3 天前AI 评分22
预测即 MoE 所需：专家负载分布从波动走向稳定
Prediction Is All MoE Needs: Expert Load Distribution Goes from Fluctuating to Stabilizing
AI 导读
研究追踪多个大语言模型训练中各专家的负载，将负载"明显波动"定义为瞬态、将"时间局部性"定义为稳定态，并部署三种经典预测算法实现专家负载预测。在 GPT3 350M 上，预测未来 1,000 与 2,000 步专家负载比例的平均误差率约为 1.3% 和 1.8%。该工作可为 MoE 模型训练的专家放置与资源分配提供参考。
正文 · AI 翻译
摘要：MoE 通过使模型的计算复杂度不再随参数增加而线性增长，促进了大型模型的发展。学习型稀疏门控网络为每个待处理的 token 选择一组专家；然而，这可能导致每个专家在连续多次迭代中处理的 token 数量存在差异，即专家负载波动，从而降低计算并行度和资源利用率。为此，本文追踪并分析了若干大型语言模型在训练迭代中各专家的负载，并将“负载波动明显”定义为瞬态，将“时间局部性”定义为稳态。此外，鉴于这两种状态的特征和计算开销，我们部署了三种经典预测算法，实现了准确的专家负载预测结果。对于 GPT3 350M 模型，预测未来 1,000 步和 2,000 步专家负载比例的平均误差率分别约为 1.3% 和 1.8%。这项工作可为 MoE 模型训练的专家放置或资源分配提供有价值的指导。基于这项工作，我们将在后续工作中提出一种针对瞬态和稳态的专家放置方案。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2404.16914 [cs.LG] |
| （或 arXiv:2404.16914v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2404.16914 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Peizhuang Cong [查看电子邮件]
[v1]
2024年4月25日星期四 15:39:59 UTC（3,545 KB）
[v2]
2026年10月10日星期六 08:15:18 UTC（3,544 KB）
来源：arXiv cs.AI · arxiv.org