研究者提出两阶段在线策略蒸馏框架BOPD

Yue Wu等作者提出两阶段训练框架BOPD（Bootstrapped On-Policy Distillation），用于解决在线策略蒸馏（OPSD）在持续训练中出现的性能退化问题。 该框架先用OPSD把参考条件监督中的任务相关信息内化到一个中间模型，再把不再依赖参考的中间模型蒸馏到初始模型的新副本中。报道未给出实验数据或效果验证。

AI 根据报道生成 · 49 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。