arXiv cs.AI· Nghi Dao, Calder Morton-Ferguson, Noah Golowich, Adam Block·· 12 小时前AI 评分31
ReAPO：面向 LLM 推理高效探索的重试感知策略优化
ReAPO: Retry-Aware Policy Optimization for Efficient Exploration in LLM Reasoning
AI 导读
ReAPO 通过随机最短路径视角改造 GRPO，对失败轨迹追加生成，使成功的重试获得强化而不奖励此前的失败，并按理论原则为每次尝试分配信用。在 Qwen3 与 OLMo-2（0.6B 至 4B）及八个数学与科学推理基准上，ReAPO 的首轮表现优于 GRPO 及近期基线算法。
正文 · AI 翻译
摘要：RLVR 提升了语言模型的推理能力，但通常依赖独立的随机采样进行探索，这可能反复采样到相似的失败策略。先前的工作通过将错误解法纳入后续尝试的上下文，从而在采样过程中引入依赖性来引导探索，已取得成功。然而，这些方法带来了一个额外问题：如何为每次尝试分配信用。我们提出从随机最短路径（Stochastic Shortest Paths）的视角来看待信用分配，这是经典强化学习中的一个框架，旨在最小化到达终止状态（在我们的场景中，即经过验证的成功响应）的期望累积成本。我们证明，在适当的简化假设下，这一视角自然引出了对 GRPO 的一种简单修改，我们称之为重试感知策略优化（Retry-Aware Policy Optimization，ReAPO）。ReAPO 为失败轨迹分配额外的生成，使成功的重试得到强化而不奖励先前的失败，并以理论上合理的方式为每次尝试分配信用。在从 0.6B 到 4B 的 Qwen3 和 OLMo-2 模型以及八个数学与科学推理基准上，ReAPO 相比 GRPO 以及近期自然的基线算法提升了首次尝试的性能，额外的消融实验则证明了串行采样和 ReAPO 信用分配的效用。在 Qwen3-0.6B 上，ReAPO 还优于组规模翻倍或训练步数翻倍的 GRPO，分别以少 39% 和 31% 的生成 token 达到其峰值准确率。综上所述，我们的结果表明，ReAPO 是一种简单而有效的方法，通过改进探索和重试感知的信用分配来提升语言模型的推理性能。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；机器学习（stat.ML） |
| 引用为： | arXiv:2610.28770 [cs.LG] |
| （或 arXiv:2610.28770v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28770 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Adam B. Block [查看邮箱]
[v1]
2026年10月20日星期二 18:08:29 UTC（251 KB）
来源：arXiv cs.AI · arxiv.org