TOPSD 方法应对多语言推理蒸馏中的教师漂移

Jaewon Cho 等作者提出 Teachable On-Policy Self-Distillation（TOPSD）方法，用于解决多语言推理蒸馏中的 Teacher Drift 现象：教师模型会跟随学生的错误中间步骤，而不是纠正它们，且低资源语言中漂移出现更早。 TOPSD 用师生似然估计漂移起点并选取前缀，再验证教师能否从该前缀恢复正确答案，仅对通过验证的前缀做蒸馏。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。