arXiv cs.AI· Hamed Mahdavi (Pennsylvania State University), Pouria Mahdavinia (Pennsylvania State University), Majid Farhadi (Google), Vasant Honavar (Pennsylvania State University)·· 3 天前AI 评分29
SPLICE：用演示者失败修复推理轨迹，提升数学与奥赛证明能力
Splicing Hints into Reasoning Traces: Learning from Demonstrator Failures
AI 导读
SPLICE 将验证与修复移出训练循环，改为离线数据生成：第二个模型仅凭参考解，在推理模型生成轨迹时验证进度、在最后已验证步骤截断失败轨迹，并拼接自适应增强的提示直到恢复进展。用 SPLICE 轨迹微调的模型在 AIME 上超过用未编辑轨迹蒸馏的同一模型，并在经人工评分验证的评分协议下于奥赛证明上同样更优。该模型轨迹在难点处会以拼接提示的风格宣告分支并采取更高风险步骤，预测熵随之上升。
正文 · AI 翻译
摘要：当最终答案可以被检查时，带可验证奖励的强化学习能提升数学推理能力，但正确答案并不能证明其背后的推导过程，而证明题则没有可供检查的答案。用推理模型作为循环内验证器来替代检查面临一个根本性障碍：策略必须已经能偶尔产生正确尝试，奖励才可能存在，而在奥赛级别它可能永远做不到这一点。我们转而将验证与修复移出训练循环，放入离线数据生成中，采用 SPLICE，这一工作流中第二个模型仅给定参考解答，在推理模型的轨迹生成时对其进行编辑：它验证进展，在最后一个已验证步骤处截断失败的轨迹，并拼接一个自适应增强的提示，直到进展恢复。由此得到的数据集包含修复后的示例，这些示例的采样无辅助轨迹原本失败，其中失败的后续部分被移除，并反复对照参考解答检查进展。在 SPLICE 轨迹上微调的模型在 AIME 上优于从推理模型未编辑轨迹中蒸馏出的同一模型，并且在一个经人工评分验证的评分协议下，在奥赛证明题上也更优。训练后模型自身的轨迹显示出相应的行为特征：在困难之处，它会以拼接提示的风格宣告分支，并采取更具风险的步骤，此时及其后预测熵上升，这一模式在未编辑轨迹上训练的模型中并不存在。
| 评论： | 39 页，3 幅图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.13996 [cs.LG] |
| （或 arXiv:2610.13996v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13996 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hamed Mahdavi [查看电子邮件]
[v1]
2026年9月26日星期六 23:28:04 UTC（149 KB）
来源：arXiv cs.AI · arxiv.org