MoE专家剪枝新方法PEEP与DCEP提出
热点事件观察中
MoE专家剪枝新方法PEEP与DCEP提出
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
Tian Wang等作者提出结构保持的MoE专家剪枝方法PEEP与DCEP。研究者称，MoE层专家输出存在结构化冗余，稳定秩与熵有效秩远低于专家名义数量，因此把专家剪枝重构为结构保持的专家子集选择问题：PEEP通过最大化加权投影能量保留功能子空间，DCEP通过最小化加权覆盖误差保留分布几何。 在DeepSeek-V2-Lite和Qwen3-30B-A3B上，75%与50%专家保留率下，两方法在多数基准上优于SOTA基线，并在通用任务与数学推理任务上取得最佳平均性能。
AI 根据报道生成 · 51 分钟前更新
最新进展11月2日 13:00
专家存在结构化冗余：面向 MoE 大语言模型的结构保持专家剪枝报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- arXiv cs.AI专家存在结构化冗余：面向 MoE 大语言模型的结构保持专家剪枝
研究者发现 MoE 层专家输出存在结构化冗余，其稳定秩与熵有效秩远低于专家名义数量，据此将专家剪枝重构为结构保持的专家子集选择问题，并提出 PEEP 与 DCEP 两种剪枝方法。在 DeepSeek-V2-Lite 和 Qwen3-30B-A3B 上，75% 与 50% 专家保留率下，两方法在多数基准上优于 SOTA 基线，并在通用任务与数学推理任务上取得最佳平均性能。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。