回放上一阶段学生模型实现持续多教师蒸馏
热点事件持续更新
回放上一阶段学生模型实现持续多教师蒸馏
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Yiqiao Qiu 等人提出持续多教师在线策略蒸馏（MOPD）的回放方案：每个新阶段用上一阶段的学生模型作为教师，回放早期领域的提示词，无需保留早期专家模型或阶段快照。 在逻辑、数学、代码、安全与指令遵循五个领域、1.5B 学生模型的 14 项基准上，该方案在不存储任何快照的情况下，弥合了顺序蒸馏与联合 MOPD 之间的大部分差距；当每个早期领域固定回放份额时，其效果与用全部已存快照做恢复训练相当。
AI 根据报道生成 · 43 分钟前更新
最新进展11月4日 13:00
面向 LLM 持续学习、以多教师在线策略蒸馏实现回放报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- arXiv cs.CL面向 LLM 持续学习、以多教师在线策略蒸馏实现回放
论文提出持续多教师在线策略蒸馏（MOPD）的回放方案：每个新阶段用上一阶段的学生模型作为教师回放早期领域提示词，无需保留早期专家或阶段快照。在逻辑、数学、代码、安全与指令遵循五领域、1.5B 学生模型的 14 项基准上，该方案无需存储任何快照即可弥合顺序蒸馏与联合 MOPD 的大部分差距；每个早期领域固定回放份额时，效果与用全部已存快照做恢复训练相当。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。