arXiv cs.CL· Linfei Ji (Huazhong University of Science and Technology), Jiayun Li (Tsinghua University), Haozhao Wang (Huazhong University of Science and Technology), Siyu Jiang (Huazhong University of Science and Technology), Zehao Wang (Harbin Institute of Technology), Longtao Xiao (Huazhong University of Science and Technology), Yu-Jie Yuan (Huawei Technologies Ltd), Ruixuan Li (Huazhong University of Science and Technology)·· 12 小时前AI 评分24
TeachBack：用双向偏好优化实现 On-Policy 自蒸馏的教学相长
TeachBack: Learning to Teach via Bidirectional Preference Optimization for On-Policy Self-Distillation
AI 导读
华中科技大学等团队提出 TeachBack，一个面向 On-Policy 自蒸馏（OPSD）的双向偏好学习框架，让模型不仅向 Teacher 学习，也学习 Teacher 该如何教。
正文 · AI 翻译
作者：Linfei Ji (1)、Jiayun Li (2)、Haozhao Wang (1)、Siyu Jiang (1)、Zehao Wang (3)、Longtao Xiao (1)、Yu-Jie Yuan (4)、Ruixuan Li (1)（(1) 华中科技大学，(2) 清华大学，(3) 哈尔滨工业大学，(4) 华为技术有限公司）
摘要：在线策略自蒸馏（OPSD）使语言模型能够从由同一模型实例化、但可访问参考解等特权信息的教师模型中进行学习。我们发现，获得足够的特权信息可使教师模型生成高度准确的轨迹；然而，仅凭准确性并不能保证这些轨迹适合学生模型学习。直接访问完整解答可能会促使生成简短的、以参考解为条件的推导过程，从而省略了在没有特权信息的情况下解决问题所需的探索、验证和自我纠正。我们提出 TeachBack，这是一个用于在线策略自蒸馏的双向偏好学习框架，它不仅从教师模型学习，还学习教师模型应如何教学。TeachBack 通过控制注入提示中的参考推理后缀长度以及改变提示风格来塑造教师模型的生成行为。在保持教师模型准确率相当的同时，它鼓励教师模型探索并重新求解问题，从而减少对参考解的依赖。在每次 rollout 刷新时，共享策略会同时生成带特权信息的教师轨迹和仅含问题的学生轨迹。成对偏好目标利用带特权信息的教师轨迹来改进学生学习，而反向偏好则利用学生行为来塑造未来在特权条件下的教师监督。在数学和逻辑推理任务上的实验表明，TeachBack 在现有 OPSD 方法及相关基线上持续提升了学生模型的表现。
| 评论： | 21 页，6 幅图，包括附录 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.29167 [cs.AI] |
| （或 arXiv:2610.29167v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29167 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Linfei Ji [查看电子邮件]
[v1]
2026 年 10 月 21 日星期三 03:59:23 UTC（2,708 KB）
来源：arXiv cs.CL · arxiv.org