arXiv cs.AI· Hexuan Deng, Zihao Yan, Xuebo Liu, Shuo Nie, Yue Wang, Chen Wang, Zhaohua Zhang, Tianwen Jiang, Qiuyong Xiao, Jihong Zhang, Min Zhang·· 9 天前AI 评分33
GRPODropout：用更少 rollout 提升在线强化学习效果
GRPODropout: Less is More for Online Reinforcement Learning Rollouts
AI 导读
针对 GRPO 等强化学习方法中策略熵坍缩、采样多样性下降的问题，研究者提出 GRPODropout：在标准更新前选择性剔除少量高概率正优势 rollout，并对保留的优势重新中心化。该方法仅改变 rollout 使用方式，计算开销可忽略，实验准确率高于原始 GRPO，且更新所用 rollout 样本更少、actor 熵更高。代码已开源。
正文 · AI 翻译
作者：Hexuan Deng、Zihao Yan、Xuebo Liu、Shuo Nie、Yue Wang、Chen Wang、Zhaohua Zhang、Tianwen Jiang、Qiuyong Xiao、Jihong Zhang、Min Zhang
摘要：GRPO 等强化学习（RL）方法显著提升了大语言模型的推理能力，但常常遭遇策略熵坍缩：采样多样性的丧失削弱了探索，并限制了进一步提升。现有方法要么通过算法层面的干预（如奖励修改和熵/KL 正则化）来解决该问题，要么通过 token 级重加权。我们研究了一个互补的视角：熵坍缩也可以通过改变哪些生成的 rollout 参与策略更新来缓解。在相同的采样预算下，并非所有 rollout 都对更新有正向贡献，选择性地排除一些可以改善学习。为此，我们提出 GRPODropout：在标准更新之前，我们采用一种简单策略，选择性地移除少量高概率的正优势 rollout，并对保留下来的优势进行重新中心化。为支撑这一设计，我们提出了一种 rollout 层面的理论分析，用于指导方法设计和阈值选择。该方法仅改变 rollout 的使用方式，计算开销可忽略不计。实验表明，与原始 GRPO 相比，其准确率更高，同时 actor 熵更高，且用于更新的 rollout 样本更少，体现了“少即是多”。这项工作为 RL 中 rollout 的使用提供了洞见：移除一些 rollout 可以提升性能。代码见 此 https URL。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.11854 [cs.LG] |
| （或 arXiv:2610.11854v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11854 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
发件人：Hexuan Deng [查看邮箱]
[v1]
2026年10月8日星期四 12:38:17 UTC（141 KB）
来源：arXiv cs.AI · arxiv.org