arXiv cs.AI· Yibo Wang, Yuanxin Liu, Zhaoran Wang·· 3 天前AI 评分24
VSR：面向可验证奖励强化学习的方差最优状态重采样
Variance-Optimal State Resampling for Reinforcement Learning with Verifiable Rewards
AI 导读
针对可验证奖励强化学习中大量 rollout 预算浪费在无学习信号状态上的问题，研究者提出方差驱动的状态重采样方法 VSR，其闭式解为 Neyman 分配 μ_var^π(s) ∝ d^π(s)·σ_π(s)，并自然关联 GRPO 的组相对优势、随策略改进涌现出反向课程。
正文 · AI 翻译
摘要：具有可验证奖励的强化学习将大部分 rollout 预算花费在无法产生学习信号的状态上。我们将此重新表述为关于采样分布本身的问题：在固定的 rollout 预算下，哪种状态分布能最小化策略梯度估计量的方差？答案允许闭式 Neyman 分配，$\mu_{\mathrm{var}}^\pi(s) \propto d^\pi(s)\,\sigma_\pi(s)$，它自然地与 GRPO 的组相对优势相关联，并随着策略改进而诱导出涌现的反向课程，无需外部施加的调度。基于这一原则，我们提出 VSR（Variance-driven State Resampling），一种对 GRPO 的插件式修改，使用前缀回放缓冲区和零成本方差代理。在数学推理基准和长时程智能体任务（Sokoban、BabyAI）上，VSR 在大多数基准上以每次更新更少的生成 token 优于 GRPO 和 GiGPO。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.15888 [cs.LG] |
| （或 arXiv:2610.15888v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15888 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yibo Wang [查看邮箱]
[v1]
2026年10月11日星期日 20:09:24 UTC（6,888 KB）
来源：arXiv cs.AI · arxiv.org