研究比较无训练MoE专家剪枝的替换算子与路由语义

Ezza Ali等作者提交论文，在固定剪枝掩码下比较OLMoE、DeepSeek-V2-Lite、Moonlight三个模型的免训练专家剪枝替换算子，并以Granite作为第四个router，采用配对、多重性校正的检验。研究发现，影响最大却常被隐式处理的是幸存专家的gate缩放：在未经top-k重归一化训练的router上，对幸存gate重归一化会损失0.8-8.5分，并反转rerouting与MoNE均值输出替换的优劣。

AI 根据报道生成 · 55 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。