arXiv cs.AI· Sheldon Yu, Tong Yu, Nikki Lijing Kuang, Zhendong Chu, Zhenwei Tang, Sungchul Kim, Lina Yao, Julian McAuley, Junda Wu·· 2 天前AI 评分24
RSHD：用失败回放恢复 GRPO 监督信号
Failure Is the Mother of Success: Recovering Supervision with Grounding Hindsight
AI 导读
针对 GRPO 在整组 rollout 全部失败时既无成功样例也无非零组内优势、学不到东西的问题，研究者提出 Replay-Selected Hindsight Distillation（RSHD），让策略在不看参考答案的情况下为每次失败写纠正笔记并带笔记重解，仅当回放成功率高于原组且笔记未泄露答案时才采纳，并将采纳的回放蒸馏回纯提示词策略。
正文 · AI 翻译
摘要：当某个问题的每次 rollout 都失败时，GRPO 既得不到成功的范例，也得不到非零的组相对优势，因此它恰恰无法从最需要学习的问题中学到任何东西。然而，失败的推理仍能提示下一步该尝试什么。我们提出 Replay-Selected Hindsight Distillation（RSHD），它在 GRPO 训练期间将失败尝试转化为额外的、经过检验的监督来源。策略模型在未看到参考答案或解答的情况下，为每次失败尝试写一条纠正性笔记，然后带着该笔记在上下文中重新求解该问题。只有当一条笔记的重放成功率高于原始组时，该笔记才会被采纳；在此之前会先筛除那些直接给出答案的笔记，而被采纳的重放会被蒸馏进纯提示策略中。由于采纳与否取决于新的成功结果，而非失败的 rollout 本身，该过程可以从所有尝试均失败的组中恢复监督信号，并且同样适用于混合组中的失败。只有策略模型被训练，唯一的评判者是结果验证器，部署时不需要笔记或额外推理。在多个模型系列和规模以及两个训练领域上，RSHD 在域内基准上持续优于 GRPO，且这些增益可迁移到域外评估集。
| 主题： | 人工智能（cs.AI）；机器学习（stat.ML） |
| 引用为： | arXiv:2610.21018 [cs.AI] |
| （或 arXiv:2610.21018v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21018 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Zixu Yu [查看邮箱]
[v1]
2026年10月14日星期三 23:33:22 UTC（743 KB）
来源：arXiv cs.AI · arxiv.org