arXiv cs.CL· Jaewon Cho, Minseo Yoon, Jinyoung Park, Jinwoo Seo, Jaewon Chu, Alice Oh, Hyunwoo J. Kim·· 11 小时前AI 评分26
TOPSD：用可教学前缀解决多语言推理蒸馏中的 Teacher Drift
Knowing When to Teach: Learning from Teachable Prefixes in Multilingual Reasoning Distillation
AI 导读
针对 On-Policy Self-Distillation 在多语言推理中出现的 Teacher Drift 现象——教师模型会跟随学生的错误中间步骤而非纠正，且低资源语言中漂移出现更早，研究者提出 TOPSD，用师生似然估计漂移起点并选取前缀，再验证教师能否从该前缀恢复正确答案，仅对通过验证的前缀做蒸馏。
正文 · AI 翻译
摘要：On-Policy Self-Distillation（OPSD）通过让学生模型基于自身的推理过程进行训练来提升推理能力，并以同一模型在参考解条件下的输出作为教师。将 OPSD 应用于多语言推理时，即使学生在中间步骤出错，教师也需要跨语言提供有用的反馈。我们观察到一种称为“教师漂移”（Teacher Drift）的现象：随着这些错误不断累积，教师可能会跟随学生的错误步骤，而不是纠正它们。我们的分析表明，这种偏移在低资源语言中往往出现得更早。为了应对不同语言之间的这些差异，我们提出了 Teachable On-Policy Self-Distillation（TOPSD），它决定对每条推理轨迹应在何处以及是否施加教师监督。TOPSD 利用教师-学生似然来估计漂移开始的位置，并选取一个前缀用于监督。随后它验证教师能否从该前缀恢复出正确答案，仅对通过验证的前缀应用蒸馏。在十种语言、三种模型规模上的多语言数学推理实验表明，TOPSD 始终优于传统 OPSD，尤其是在低资源和中资源语言上。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.08179 [cs.CL] |
| （或 arXiv:2611.08179v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.08179 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jaewon Cho [查看邮箱]
[v1]
2026年11月5日 星期四 15:34:23 UTC（1,658 KB）
来源：arXiv cs.CL · arxiv.org