MoEvolve：双向蒸馏提升MoE模型
热点事件持续更新
MoEvolve：双向蒸馏提升MoE模型
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Haoyu Chen等作者提出MoE双向蒸馏框架MoEvolve，先恢复并强化激活扩展后的高-k MoE模型，再把增强能力反向蒸馏回原始低-k配置，目标是在不增加推理激活预算的前提下提升性能。 作者称，在多种MoE模型和基准上，该方法较初始模型最高提升22.2个领域平均分，并超过同等预算的RLVR基线最高6.5分；最终低-k模型常反超其激活扩展教师模型。
AI 根据报道生成 · 52 分钟前更新
最新进展10月19日 12:00
MoEvolve：用同策略双向蒸馏强化 MoE 模型报道时间线
沿着报道，了解事件的不同侧面。
10月19日
- arXiv cs.AIMoEvolve：用同策略双向蒸馏强化 MoE 模型
研究者提出 MoEvolve 双向蒸馏框架，通过先恢复并强化激活扩展后的高-k MoE 模型、再将增强能力反向蒸馏回原始低-k 配置，在不增加推理激活预算的前提下提升模型性能。在多种 MoE 模型和基准上，该方法较初始模型最高提升 22.2 个领域平均分，并超过同等预算的 RLVR 基线最高 6.5 分，最终低-k 模型常反超其激活扩展教师模型。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。