arXiv cs.AI· Yue He, Jiahui Hu, Shaman Tang, Hua Zhou, Qiman Wu, Menglin Li, Yizhao Wang, Yuheng Zhang, Da Zhu, Zhou Wang, Anhua Liu, Hanlin Chen, Mingyuan Wang, Rui Xin, Yuhua Wei, Shuang Su, Siqi Liu, Kai Yang, Weichao Huang, Hang Zhang, Honggou Yang, Xianming Liu·· 13 小时前AI 评分34
Turing LLM 后训练：校准蒸馏与高效动态 MoE 执行
Turing LLM Post-Training: Calibrated Distillation and Efficient Dynamic-MoE Execution
AI 导读
Turing-20B-A2B 通过校准多教师同策略蒸馏（C-MOPD）结合容量受限调度与异步 rollout 训练重叠，实现四领域归一化集成得分 0.9988，每个领域保留至少 90.16% 的专家增益。
正文 · AI 翻译
作者：Yue He、Jiahui Hu、Shaman Tang、Hua Zhou、Qiman Wu、Menglin Li、Yizhao Wang、Yuheng Zhang、Da Zhu、Zhou Wang、Anhua Liu、Hanlin Chen、Mingyuan Wang、Rui Xin、Yuhua Wei、Shuang Su、Siqi Liu、Kai Yang、Weichao Huang、Hang Zhang、Honggou Yang、Xianming Liu
摘要：我们研究动态路由混合专家（MoE）模型的训练后阶段，重点在于整合独立优化的专家，同时保持合并过程高效。我们的方法结合了校准多教师同策略蒸馏（C-MOPD）——它在局部 Top-$K$ 支持集上与每个选定的教师匹配，并进行按教师的损失归一化和裁剪——以及一条执行路径，该路径采用容量后限宽调度、最终路由重放和异步 rollout 与训练重叠。在 Turing-20B-A2B 上，所选模型在四个领域上取得 0.9988 的归一化整合得分，并在每个领域保留至少 90.16\% 的实测专家增益。在匹配的 $K=32$ 下，完整校准目标得分为 0.9962，而未校准时为 0.9724，未裁剪时为 0.9834。在匹配的 8K 响应上限下，该模型在全部四个支持推理的数学与代码基准上均超过共享 SFT 和 Qwen3-8B（未加权均值：85.92，对比 Qwen3-8B 的 80.33 和 SFT 的 74.21），并在十二项更广泛的评估指标中有十项优于 SFT。在基于 PPU 的配置中，组合执行配置将合并步骤时间从 398.7 秒降至 139.3 秒，相较串行执行观察到 2.86$\times$ 的加速。这些结果展示了强大的专家整合能力以及更高效的合并过程，同时反映的是完整的训练与执行框架，而非任何单一组件。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.39876 [cs.LG] |
| （或本版本的 arXiv:2610.39876v1 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2610.39876 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shaman Tang [查看邮箱]
[v1]
2026年10月29日 星期四 11:52:20 UTC（492 KB）
来源：arXiv cs.AI · arxiv.org