arXiv cs.CL· Mayug Maniparambil, Ayush Rai, Ekansh Verma, Noel E. O'Connor, Fergal Reid·· 6 天前AI 评分31
只会打分的特权教师不会搜索：面向推理的批判条件化在线自蒸馏
A Privileged Teacher That Only Scores Cannot Search: Critique-Conditioned On-Policy Self-Distillation for Reasoning
AI 导读
研究发现在线自蒸馏中，基于参考解打分的教师信号既无法定位学生 rollout 中的错误，也无法将概率推离错误 token，甚至难以区分同一问题下的正确与错误 rollout。
正文 · AI 翻译
摘要：在线策略自蒸馏有望用密集的词元级信用取代可验证奖励强化学习中稀疏的结果信号：一个以参考解答为条件的教师模型对学生自身的采样轨迹进行评分，由此产生的分布偏移被蒸馏回策略中。我们研究这种评分信号是否真的包含纠正性信用。利用学生采样轨迹中的黄金错误片段，我们检验自蒸馏目标所消耗的两种信号——全分布 KL 和词元对数比——是否具备两个性质：它们能否定位错误，以及它们能否将概率推离学生错误的词元。它们既不具备这两个性质，也无法可靠地区分同一问题内正确与错误的采样轨迹。我们认为这种失败是结构性的：在推理轨迹中定位错误本身就是一个搜索问题，而评分教师从未被明确要求执行这一搜索。同一个模型，在拥有相同特权信息的情况下，若被允许生成批评，则能显著更好地定位错误。这构成了\emph{批评条件自蒸馏}的动机：首先生成对当前采样轨迹的批评，然后让评分教师以该批评为条件。由此得到的信号能够定位错误，在错误片段内具有纠正性，并将概率推向那些引发回溯的词元，如“Wait”、“But”和“Actually”。我们进一步表明，批评在测试时和冷启动 GRPO 中都有用：在测试时，将批评置于上下文中继续一段错误的采样轨迹，可以解决模型通过采样无法解决的数学问题；在冷启动 GRPO 中，它为那些仅靠可验证奖励无法提供任何优势信号的提示提供了优势信号。
| Comments: | 被接收为 NeurIPS 2026 FLLMPT 研讨会的口头报告 |
| Subjects: | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| Cite as: | arXiv:2610.13744 [cs.AI] |
| （或本版本使用 arXiv:2610.13744v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.13744 arXiv 颁发的 DOI 经由 DataCite（待注册） |
Submission history
来自：Mayug Maniparambil [查看邮箱]
[v1]
2026年10月9日星期五 15:36:47 UTC（262 KB）
来源：arXiv cs.CL · arxiv.org