arXiv cs.CL· Zijian Wu, Lingkai Kong, Lin Yang, Haiteng Zhao, Kuikun Liu, Kai Chen, Dahua Lin, Wenwei Zhang·· 10 小时前AI 评分38
Self-Steered Reasoner（SSR）：用可达性对齐的自蒸馏突破推理瓶颈
Steer, Don't Tell: Breaking Reasoning Plateaus with Reachability-Aligned Self-Distillation
AI 导读
研究者提出 Self-Steered Reasoner（SSR），通过学生支撑投影把特权教师分布转成仅覆盖无引导学生局部可达推理动作的方向性信号，并以验证筛选正确轨迹。在即使充分 RL 后 pass@64 仍为 0 的题目上，SSR 无需参数更新即为 74.6% 的题目恢复正确且可学习的轨迹；在这些轨迹上微调并恢复强化学习后，AIME25/26 与 HMMT26 聚合准确率提升 4.9 个百分点。
正文 · AI 翻译
摘要：大型推理模型的训练后优化在困难问题上仍然不足，因为这些问题难以采样到正确的轨迹。尽管先前的工作通过将专家轨迹上的监督微调与强化学习相结合来应对这一困难，但此类外部专家并非总是可用。现有的自我改进方法则使用参考解来创建一个特权自教师。然而，特权教师的正确性并不意味着学生可达。解条件化会将教师分布转向无特权学生不太可能采取的动作，从而产生看似“正确”但不可达、甚至形式错误的学习目标轨迹。据此，我们将可达性对齐确定为自构建监督的关键，并提出自引导推理器（SSR）。SSR 通过学生支撑投影实现这一原则，该投影将特权教师分布转换为仅在无引导学生局部可达的推理动作上的方向性信号。随后，验证会保留从该可达空间中采样到的正确轨迹。为进一步提升采样效率，采用迭代精炼框架，使用基于当前轨迹的诊断指导。在即使经过大量强化学习后 pass@64 = 0 的问题上，SSR 无需参数更新即可为 74.6% 的问题恢复正确且可学习的轨迹。在这些轨迹上进行微调并继续强化学习后，在 AIME25/26 和 HMMT26 上总体准确率提升了 4.9 个百分点。这些结果表明，当特权指导与学生可达的推理动作对齐时，它就会成为有效的自我改进数据。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.00796 [cs.CL] |
| （或 arXiv:2611.00796v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.00796 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zijian Wu [查看电子邮件]
[v1]
2026年10月31日星期六 10:18:31 UTC（719 KB）
来源：arXiv cs.CL · arxiv.org