arXiv cs.CL· Avni Mittal, Avinash Anand, Ashutosh Kumar, Dikshant Kukreja, Kritarth Prasad, Chaitanya Lakhchaura, Rishitej Reddy Vyalla, Erik Cambria, Zhengkui Wang, Rajiv Ratn Shah·· 10 小时前AI 评分24
Sonar-MoE：在反向传播中更新专家，实现更省内存的 MoE 训练
Sonar-MoE: In-Backward Expert Updates for Memory-Efficient Mixture-of-Experts Training
AI 导读
Sonar-MoE 将 optimizer-in-backward 引入批量 MoE 专家张量，在反向传播中直接更新每个专家张量并立即释放其梯度，使 GPU 最多只保留一层专家梯度。
正文 · AI 翻译
摘要：混合专家（MoE）模型的大部分参数属于其专家，标准训练会将每个专家的梯度保留在 GPU 内存中，直到优化器步骤。该内存随专家数量和规模增长，因此随着 MoE 模型扩展而上升。我们提出 Sonar-MoE，它在反向传播过程中更新每个专家张量并立即释放其梯度。它将密集模型中的反向优化器引入批处理 MoE 专家张量，因此 GPU 持有的专家梯度不超过一层。当我们使用两种专家内核后端以 bf16 微调 OLMoE-1B-7B 和 Granite-3.1-3B-A800M 时，Sonar-MoE 将峰值内存降低 19% 至 22%。在不进行专家梯度裁剪的情况下，其更新与标准训练逐位相同，且留出损失与所有基线保持在 0.003 以内。与使用全局范数裁剪的标准训练相比，每一步还少花 17% 至 23% 的时间。更新整个批处理张量而非单个专家是 Sonar-MoE 保持快速的原因，因为它在使用相同内存的同时避免了 20% 至 72% 的减速。Sonar-MoE 在内存和速度上与对所有参数进行反向优化器相匹配，同时仍然裁剪密集参数。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）；性能（cs.PF） |
| 引用为： | arXiv:2611.03577 [cs.LG] |
| （或 arXiv:2611.03577v1 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.03577 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Avni Mittal [查看电子邮件]
[v1]
2026 年 11 月 2 日星期一 18:30:00 UTC（299 KB）
来源：arXiv cs.CL · arxiv.org