arXiv cs.AI· Haoyu Chen, Jun Bai, Yang Liu, Jianfei Zhang, Wenge Rong·· 11 小时前AI 评分32
MoEvolve：用同策略双向蒸馏强化 MoE 模型
A Stronger Teacher Within: Strengthening MoE Models via On-Policy Bidirectional Distillation
AI 导读
研究者提出 MoEvolve 双向蒸馏框架，通过先恢复并强化激活扩展后的高-k MoE 模型、再将增强能力反向蒸馏回原始低-k 配置，在不增加推理激活预算的前提下提升模型性能。在多种 MoE 模型和基准上，该方法较初始模型最高提升 22.2 个领域平均分，并超过同等预算的 RLVR 基线最高 6.5 分，最终低-k 模型常反超其激活扩展教师模型。
正文 · AI 翻译
摘要：可验证奖励强化学习（RLVR）显著提升了混合专家（MoE）大语言模型，但其结果级奖励仅提供稀疏监督。同策略蒸馏提供密集的 token 级反馈，但需要更强的兼容教师模型，而同策略自蒸馏则依赖人工设计的特权信息。我们观察到，MoE 架构本身提供了一条解决这一困境的途径：提高每个 token 的激活预算可释放潜在的专家容量，并在模型内部产生一个可能更强的教师。然而，朴素扩展会降低性能，因为新共同激活的专家并未经过协同优化。因此，我们提出 MoEvolve，一个遵循“先恢复、后提升”策略的双向蒸馏框架：我们首先恢复激活扩展后的高 $k$ 模型，并利用其额外激活容量进一步增强它，然后反转蒸馏方向，将增强后的能力迁移回原始低 $k$ 配置，同时保留其推理时的激活预算。在多种 MoE 模型和基准上，MoEvolve 将初始模型提升最多 $22.2$ 个领域平均分，并比同等预算的 RLVR 基线高出最多 $6.5$ 分。值得注意的是，最终的低 $k$ 模型常常超越其激活扩展后的教师模型。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.23185 [cs.LG] |
| （或 arXiv:2610.23185v1 [cs.LG] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.23185 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Haoyu Chen [查看邮箱]
[v1]
2026年10月16日星期五 09:23:22 UTC（874 KB）
来源：arXiv cs.AI · arxiv.org