热点事件持续更新

腾讯论文提出按神经元剪枝MoE模型的RAMP方法

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

腾讯发表论文提出 RAMP 方法，按神经元的路由贡献打分来剪枝混合专家（MoE）模型，而不是整块删除专家。论文称，MoE 模型的数学、代码等领域技能分散在跨专家的零散神经元中。据论文数据，剪掉最无用的 25% 神经元后，6 个模型仍保留 91% 至 98% 的性能；剪掉 50% 神经元时，GPU 显存下降 36% 至 43%，批量 prefill 吞吐提升 17% 至 39%。

AI 根据报道生成 · 59 分钟前更新

最新进展11月14日 00:37

腾讯论文：MoE 模型按神经元剪枝可保留技能

报道时间线

沿着报道，了解事件的不同侧面。

11月14日

00:37
RadarAI
腾讯论文：MoE 模型按神经元剪枝可保留技能
腾讯论文发现 MoE 模型的数学、代码等领域技能分散在跨专家的零散神经元中，其 RAMP 方法按神经元的路由贡献打分剪枝，剪掉最无用的 25% 神经元后 6 个模型仍保留 91% 至 98% 的性能。剪掉 50% 神经元时，GPU 显存下降 36% 至 43%，批量 prefill 吞吐提升 17% 至 39%。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。