arXiv cs.CL· Sohyun Son, Yerim Hong, Jaeyun Park, Mujeen Sung·· 12 小时前AI 评分31
RoAR：用 rollout 一致性改进 GRPO 推理训练
Improving Reasoning with Rollout Agreement for Group-Based Policy Optimization
AI 导读
研究者提出 RoAR（Rollout-Agreement Reward），在 GRPO 的奖励中加入推理层面的一致性信号，且无需人工撰写理由、额外采样或单独训练的过程评估器。
正文 · AI 翻译
摘要：近期用于可验证奖励强化学习（RLVR）的方法利用 rollout 多样性来提升推理性能或训练效率。尽管取得了这些进展，正确答案 rollout 之间的差异在多大程度上反映了有用的替代推理或未解决的错误，仍鲜为人知。我们通过对一个使用组相对策略优化（GRPO）训练的模型进行盲法配对分析来研究这一问题，比较同一问题下一致性最高和最低的正确答案轨迹。在 126 对样本中，低一致性轨迹比高一致性轨迹包含更多虚假推理（35% 对 22%），包括内部不一致和问题条件误用。基于这些发现，我们提出 RoAR（Rollout-Agreement Reward），在 GRPO 对验证正确 rollout 的奖励中加入推理层面的一致性。RoAR 从现有的同策略 rollout 组中计算该信号，无需人工撰写的推理依据、额外采样或单独训练的过程评估器。在五个数学推理基准上，使用 7K 训练样本的 1.5B GRPO-RoAR 模型在零样本评估下达到 55.5% 的平均 pass@1，分别超过 GRPO 和 GRPO-CARE 6.0 和 5.5 个百分点。对四个 1.5B 模型均正确回答的 100 个问题进行单独盲审发现，GRPO-RoAR 的虚假率为 18%，GRPO 为 32%，GRPO-CARE 为 27%，DRA-GRPO 为 37%。我们的发现表明，在利用 rollout 差异引导学习时，推理有效性是一个重要考量。我们的代码可在 此 https URL 获取。
| 评论： | 21 页，7 幅图，16 张表 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.34951 [cs.LG] |
| （或 arXiv:2610.34951v1 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.34951 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Sohyun Son [查看电子邮件]
[v1]
2026 年 10 月 26 日星期一 07:19:26 UTC（373 KB）
来源：arXiv cs.CL · arxiv.org