arXiv cs.AI· Faeze Moradi Kalarde, Armin Toroghi, Nam Ho Koh, Doo Hwan Hwang, Seungjin Kim, Kee-Eung Kim, Scott Sanner·· 12 小时前AI 评分31
AdaRoll-GRPO：用贝叶斯自适应 MDP 分配 rollout 预算提升 GRPO 训练
Bayes-Adaptive MDPs for Rollout Allocation to Enhance GRPO Training
AI 导读
研究者提出 AdaRoll-GRPO，将 GRPO 训练中的 rollout 预算分配建模为贝叶斯自适应 MDP 的序贯决策问题，学习按题目难度自适应分配 rollout 的策略。该策略离线计算，训练时应用不引入额外在线优化开销。在多个推理数据集和 LLM 架构上，固定 rollout 预算下 AdaRoll-GRPO 持续提升 GRPO 训练表现。
正文 · AI 翻译
摘要：组相对策略优化（GRPO）在 LLM 后训练中展现出强劲性能。然而，它为每个训练问题分配统一的 rollout 预算，忽略了问题难度的差异。因此，高难度问题可能获得过少的 rollout，难以生成有信息量的正奖励信号，从而限制了它们对训练的贡献；而中等难度问题往往获得超出必要的 rollout。在本工作中，我们将难度感知的 rollout 预算分配问题形式化，以在总 rollout 预算与标准 GRPO 相同的前提下最大化训练效用。我们提出 AdaRoll-GRPO，它将 rollout 分配重新表述为序贯决策问题，并利用贝叶斯自适应马尔可夫决策过程（MDP）学习自适应分配策略。所学策略离线计算，并在 GRPO 训练期间应用，不引入额外的在线优化开销。在多个推理数据集和 LLM 架构上的大量实验表明，AdaRoll-GRPO 在固定 rollout 预算下持续提升 GRPO 训练性能，凸显了自适应 rollout 分配在 LLM 后训练中对 GRPO 的有效性。
| 评论： | 22 页，8 幅图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.37429 [cs.LG] |
| （或 arXiv:2610.37429v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37429 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Faeze Moradi Kalarde [查看邮箱]
[v1]
2026 年 10 月 27 日星期二 15:41:57 UTC（348 KB）
来源：arXiv cs.AI · arxiv.org