MoE推理停用专家须匹配训练权重规则

Hao Cheng等作者发表论文，比较移除、冻结、剩余专家重归一化和非归一化重路由四种推理时专家停用方式，在四个模型家族的五个指令微调 checkpoint 及 OLMoE 基座上测试。结果显示，按训练期权重规则实施时，停用一半专家后困惑度为完整基线的 1.4 至 73 倍；规则不匹配时升至 14 至 28740 倍。 在 OLMoE 上，四种停用方式下 GSM8K 严格匹配准确率均降至零。研究还发现，激活专家数越少，额外重归一化带来的困惑度惩罚越大。

AI 根据报道生成 · 55 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。