OptEP：优化专家选择的MoE剪枝方法

研究者提出 OptEP，将预训练 MoE 语言模型的训练后专家剪枝建模为子集选择问题，用可微的连续松弛直接优化专家选择变量，并对保留专家的权重做轻量重建更新。 该方法由 Jelena Markovic-Voronov 等作者提出并验证，目标是让 MoE 模型在剪掉部分专家后仍保持性能。报道未给出具体压缩比例或效果数据。

AI 根据报道生成 · 57 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。