arXiv cs.AI· Tiejin Chen, Xiaoou Liu, Hanyang Chen, Hua Wei·· 12 小时前AI 评分26
ST-OPSD：通过激活引导改进思考模型的自蒸馏
Steering the Teacher: Improving On-Policy Self-Distillation for Thinking Models
AI 导读
研究者提出 Steered-Teacher OPSD（ST-OPSD），通过激活引导修正 on-policy 自蒸馏中教师模型的两类问题：引用不可得参考的参考幻觉，以及抑制不确定步骤复核的倾向。
正文 · AI 翻译
摘要：在线策略自蒸馏（OPSD）利用由同一模型初始化的、以参考为条件的教师模型所提供的词元级监督，在自身的推理轨迹上训练学生模型。然而，对参考的访问可能诱发教师行为，从而削弱思考模型中的独立推理，导致参考幻觉，即学生引用不可用的参考来为推理步骤辩护，以及再考虑抑制，即教师在不确定步骤上不鼓励验证和修正。我们提出引导教师 OPSD（ST-OPSD），通过激活引导联合解决这些失效模式。ST-OPSD 从模型生成的推理轨迹中提取两个方向，并在蒸馏目标计算期间将其应用于教师的隐藏状态，抑制引用参考的行为，并通过标记族校准鼓励再考虑。学生从所得的教师分布中学习，而不被引导。在 AIME 和 HMMT 上的实验表明，ST-OPSD 相比原始 OPSD 和其他干预方法提高了准确率，同时将再考虑率和参考幻觉率恢复到基座模型水平。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.34005 [cs.LG] |
| （或 arXiv:2610.34005v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34005 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xiaoou Liu [查看邮箱]
[v1]
2026年10月25日星期日 02:34:40 UTC（2,854 KB）
来源：arXiv cs.AI · arxiv.org