腾讯论文：MoE 模型按神经元剪枝可保留技能

Rohan Paul· @rohanpaul_ai · X·2026-11-14 00:37· 1 小时前AI 评分40

AI 导读

腾讯论文发现 MoE 模型的数学、代码等领域技能分散在跨专家的零散神经元中，因此按神经元而非整个专家剪枝可在压缩模型的同时保留大部分能力。其 RAMP 方法按神经元的路由贡献打分，剪掉最无用的 25% 神经元后，6 个模型仍保留 91% 至 98% 的性能。剪掉 50% 神经元时，GPU 显存下降 36% 至 43%，批量 prefill 吞吐提升 17% 至 39%。

正文 · 原文

腾讯的新论文表明，混合专家（Mixture of Experts）模型中的领域技能（如数学或编程）分散在跨专家的零散神经元中。

因此，剪掉弱神经元而非整个专家，可以在保留大部分技能的同时压缩模型。

在他们的实验中，混合专家 AI 模型在剪掉最无用的 25% 专家神经元后，仍保留了 91% 至 98% 的性能。

MoE 模型将每个 token 发送给少数几个专家，这暗示每个专家负责数学或代码等某个领域。其他研究则发现，路由主要跟踪的是 token 类型。

他们用一种名为 RAMP 的度量方法为每个神经元的路由贡献打分。为某一领域选出的神经元，在该领域的样本间重叠率为 58% 至 74%，而跨领域时仅为 15% 至 24%，且这些神经元分布在混合专家中。

RAMPr 依据这些分数对所有专家进行剪枝，在 6 个模型上，保留 75% 神经元时仍保持原始性能的 91% 至 98%。保留 50% 神经元时，GPU 显存下降 36% 至 43%，批量 prefill 吞吐提升 17% 至 39%。

如果你要压缩 MoE 模型，应按路由贡献剪掉专家内部的神经元，而不是把每个专家当作一个整体。

来源：Rohan Paul · x.com