arXiv cs.AI· Yuante Li, Junwei Quan, Kai Qiu, Kate Zhang, Yicheng Tao·· 3 天前AI 评分36
两时钟：为何更大 rollout 批次在 RLVR 中学习更慢却按时失败
Two Clocks: Why Larger Rollout Batches Learn Slower but Fail on Schedule in Reinforcement Learning with Verifiable Rewards
AI 导读
研究提出"两时钟"框架，区分 RLVR 中产生进展所需样本与崩溃前消耗的样本。基于局部二次模型，平方根学习率规则虽保持每样本一阶漂移，却无法保持进展：更大批次更新更少更长，曲率损失更多，存在依赖学习率的临界批次。在 Qwen2.5-Math-1.5B 上跨 16 倍批次范围的 GRPO 实验支持该预测，进展差距在另一数据集、通用 checkpoint 和 7B 模型上重现。
正文 · AI 翻译
摘要：带可验证奖励的强化学习（RLVR）依赖于代价高昂的模型生成响应，这促使人们采用更大的 rollout 批次和平方根学习率缩放。据报告，在每次 rollout 进行一次优化器更新的情况下，该规则大致能保持每个样本的进展，但在实际的多步训练中，这一规则仍缺乏充分理解。我们提出了一个双时钟框架，将取得进展所需的样本与崩溃前消耗的样本区分开来。在局部二次模型下，平方根规则保持了每个样本的一阶漂移，但并未保持进展：更大的批次会进行更少、更长的更新，并在曲率上损失更多，从而产生一个依赖于学习率的临界批次，超过该批次后样本效率会下降。漂移阈值假说预测了一个互补的失败时钟，其样本数在平方根规则下大致保持不变。在 Qwen2.5-Math-1.5B 上跨 $16\times$ 批次范围进行的受控 GRPO 实验支持了这两个预测。比率裁剪会延迟失败，尤其是对更大的批次，但即使没有它，进展差距依然存在。放宽裁剪会以稳定性换取短暂的加速。进展差距在另一个数据集、一个通用检查点以及一个 7B 模型上再次出现。最后，我们使用双时钟框架推导出一个简单的多步 RLVR 调度方案：从低于临界批次开始，并在失败前切换到更大的批次。我们的代码可在以下地址获取：this https URL。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.18853 [cs.LG] |
| （或 arXiv:2610.18853v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18853 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuante Li [查看电子邮件]
[v1]
2026年10月13日星期二 17:58:57 UTC（464 KB）
来源：arXiv cs.AI · arxiv.org