arXiv cs.AI· Fengdi Che, Yang Liu, Lei Yu, Meng Cao, Tong Che, Rupam Mahmood, Dale Schuurmans·· 3 天前AI 评分24
SR-PPO：单次 rollout 的 Pass@k 策略优化
Learning with a Single Rollout via Pass@k Policy Optimization
AI 导读
针对 GRPO 需多次 rollout 采样成本高的问题，研究者提出单次 rollout 强化学习方法 SR-PPO，结合蒙特卡洛 token 级优势估计与 Pass@k 梯度重加权。
正文 · AI 翻译
摘要：组相对策略优化（GRPO）通常需要针对每个提示进行多次采样以估计相对信用，这会带来大量的采样成本并加剧训练异步性。这一局限对科学推理智能体尤为严重，因为每条轨迹都可能涉及长时程推理、多轮交互以及并行子运行。我们研究单次采样强化学习，即每个提示只采集一条轨迹，并发现朴素训练可能停滞或变得严重不稳定。我们提出单次采样 Pass@k 策略优化（SR-PPO），它将蒙特卡洛 token 级优势估计与 Pass@k 梯度重加权相结合。一个无需大规模预训练的在线评论家既被用作依赖前缀的基线以进行信用分配，也被用于估计 Pass@k 梯度权重。每个提示仅使用一次采样，SR-PPO 就能实现稳定学习，并在推理与逻辑基准上取得与 GRPO 相当的性能，即使在会降低标准 Pass@1 PPO 性能的离策略漂移下也是如此。这种稳定性的一个关键因素是 Pass@k 重加权，它强调更难的提示，同时降低高成功率提示的权重，因为对于后者，不完美的信用估计往往会产生噪声更大的策略更新。通过对评论家质量、梯度噪声和更新行为的分析，我们研究了 Pass@k 重加权如何稳定单次采样学习，以及为什么残余的评论家误差可能限制 SR-PPO 超越 GRPO 的能力。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.25451 [cs.LG] |
| （或使用 arXiv:2606.25451v2 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2606.25451 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Fengdi Che [查看电子邮件]
[v1]
2026年6月24日星期三 06:26:34 UTC（1,461 KB）
[v2]
2026年10月10日星期六 01:53:36 UTC（159 KB）
来源：arXiv cs.AI · arxiv.org