arXiv cs.AI· Haifeng Qian, David Mosallanezhad, Christian Munley, Adithya Renduchintala, Oleksii Kuchaiev·· 3 天前AI 评分39
双 Rollout 强化学习：基于采样的奖励估计方法
Double-Rollout Reinforcement Learning with Sampling-based Reward Estimation
AI 导读
针对可验证结果奖励与推理质量不匹配的问题，该论文提出 double-rollout 强化学习：对每条 rollout 截断推理轨迹后采样多个续写，用续写奖励均值替代原始奖励，以更稳健地估计推理质量。
正文 · AI 翻译
摘要：使用组相对策略优化（GRPO）实现的可验证奖励强化学习（RLVR）推动了推理语言模型训练的重大进展。然而，可验证的结果奖励对推理质量的衡量并不完美：正确的最终答案可能并不由推理轨迹所支持，而错误的 rollout 可能包含几乎正确的推理轨迹。我们提供了这种不匹配的经验证据，并假设由此产生的奖励噪声会导致强化学习在推理准确性和 token 效率方面的不稳定性。为了解决这一信用分配难题，本文提出了双 rollout 强化学习。对于每个采样的 rollout，我们截断其推理轨迹，从截断的前缀中采样多个续写，并用续写奖励的均值替换原始奖励，从而得到对推理质量更稳健的估计。这种双 rollout 算法仅带来适度的计算成本增加，却在数学和编码任务上、在 Qwen 和 Nemotron 模型上，以更少的 RL 步骤达到了比基线算法高得多的准确率。例如，仅使用 DAPO 数据，它在 30 个 RL 步骤内将 Nemotron-3-Nano-30B-A3B 在 AIME 2026 上训练至 95.4%，而 GRPO 为 91.5%，且大幅超过该模型规模的当前最优水平。当与基于长度的奖励结合时，同一算法在现有效率优化基础上进一步改进了准确率-效率帕累托前沿。这些发现表明，双 rollout 奖励估计是一种有效且成本高效的方法，可同时提升推理 RL 的准确率和 token 效率。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.16593 [cs.AI] |
| （或 arXiv:2610.16593v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16593 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Haifeng Qian [查看电子邮件]
[v1]
2026年10月12日星期一 11:16:32 UTC（919 KB）
来源：arXiv cs.AI · arxiv.org