arXiv cs.CL· Hao Cheng (Zhejiang Gongshang University), Zhiyu Yang (Chang'an University), Bo Ma (Zhejiang Gongshang University), Hanzhang Jia (University of Sussex)·· 10 小时前AI 评分31
推理时专家停用需匹配训练期权重规则：MoE 模型停用一半专家后困惑度最高差 28740 倍
Matching the Training-Time Weight Rule in Inference-Time Expert Deactivation
AI 导读
研究对比移除、冻结、剩余专家重归一化和非归一化重路由四种推理时专家停用方式，在四个模型家族五个指令微调 checkpoint 及 OLMoE 基座上测试。按训练权重规则实施时困惑度为完整基线的 1.4 至 73 倍，规则不匹配时升至 14 至 28740 倍；OLMoE 上 GSM8K 严格匹配准确率在四种方式下均降至零。激活专家数越少，额外重归一化带来的困惑度惩罚越大。
正文 · AI 翻译
作者：Hao Cheng（浙江工商大学），Zhiyu Yang（长安大学），Bo Ma（浙江工商大学），Hanzhang Jia（萨塞克斯大学）
摘要：推理阶段的专家停用会同时改变 token 路由和专家权重，其对性能的影响取决于这些改变的实施方式。我们在来自四个模型家族的五个指令微调检查点上，针对相同的停用集合，比较了移除、冻结、剩余专家重归一化和未归一化重路由四种方式，并额外加入一个基础 OLMoE 检查点作为对照。我们建立了一个权重和模型，将专家贡献的损失与分支尺度的变化同训练时采用的权重规则联系起来。在按基于激活的排名停用一半专家的情况下，对于使用原始路由概率训练的模型，剩余专家重归一化产生最高的困惑度；而对于使用归一化权重训练的模型，未归一化重路由产生最高的困惑度。当保留训练规则时，困惑度为完整基线的 1.4 至 73 倍；在规则不匹配时，为基线的 14 至 28,740 倍。任务结果因评估类型而异：在 OLMoE 上，四种实现下 GSM8K 严格匹配准确率均降至零。将该模型扩展到活跃专家数量的变化可得出进一步预测，并得到 OLMoE 实验的支持：额外重归一化带来的困惑度惩罚随着激活专家数量减少而增大。
| 评论： | 通讯作者：Hanzhang Jia（首席通讯作者）和 Bo Ma |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.05804 [cs.CL] |
| （或 arXiv:2611.05804v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.05804 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Hanzhang Jia [查看邮箱]
[v1]
2026年11月4日星期三 01:23:13 UTC（93 KB）
来源：arXiv cs.CL · arxiv.org