arXiv cs.CL· Bangji Yang, Hongbo Ma, Ruihan Guo, Jiajun Fan, Xi Zhu, Ge Liu·· 11 小时前AI 评分34
Batched Contextual Reinforcement II：RLVR 是否需要长 rollout 窗口？
Batched Contextual Reinforcement II: Does RLVR Need Long Rollout Windows?
AI 导读
作为 BCR 的技术续作，CCR 将三个可独立验证的问题放入一次受限训练补全中，让截断前完成的正确答案保留奖励，从而在短窗口下维持 RLVR 的正确性信号。
正文 · AI 翻译
摘要：较长的 rollout 窗口使得带可验证奖励的强化学习（RLVR）成本高昂，但简单地缩短窗口又可能移除正确性信号：当每个单问题 rollout 都在给出答案前被截断时，组相对准确率优势便会消失。作为 Batched Contextual Reinforcement（BCR）的技术延续，我们研究并发奖励如何放松对长窗口的依赖。Concurrent Constraint Reinforcement（CCR）将三个可独立验证的问题放入一个设有上限的训练补全中。在截断前完成作答的正确答案仍保留信用，而共享预算则鼓励更短的有用推理，且无需显式的长度惩罚。我们将这一机制与条件奖励方差和更新方差分析联系起来，并研究了 4B 和 8B 数学推理模型。与使用 32k 窗口的单问题 GRPO 相比，使用 8,000 token 窗口的 CCR 在 4B 上将每训练步的 token 数从 975,464 降至 174,957，在 8B 上从 793,832 降至 165,788，分别节省 82.1% 和 79.1%。一条 8B 训练轨迹显示，准确率奖励上升的同时补全长度缩短。单问题评估为推理质量得以保留提供了佐证。这些结果将保留奖励的训练结构确定为在短窗口 RLVR 中降低每步成本的实用途径。
| 评论： | 22 页，3 幅图，2 张表 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.22887 [cs.LG] |
| （或 arXiv:2610.22887v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22887 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hongbo Ma [查看邮箱]
[v1]
2026 年 10 月 16 日星期五 03:40:48 UTC（220 KB）
来源：arXiv cs.CL · arxiv.org