arXiv cs.AI· Long Li, Zhijian Zhou, Tianyi Wang, Weidi Xu, Zuming Huang, Wei Chu, Zhe Wang, Shirui Pan, Chao Qu, Yuan Qi·· 3 天前AI 评分22
DyJR：用动态 Jensen-Shannon 回放保持可验证奖励强化学习中的多样性
DyJR: Preserving Diversity in Reinforcement Learning with Verifiable Rewards via Dynamic Jensen-Shannon Replay
AI 导读
针对 GRPO 等 on-policy 算法丢弃历史 rollout 导致样本效率低、策略过度集中于单一解的问题，研究者提出动态 Jensen-Shannon 回放（DyJR）正则化框架，用近期轨迹构建动态参考分布。
正文 · AI 翻译
摘要：尽管强化学习（RL）增强了大型语言模型的推理能力，但像 GRPO 这样的同策略算法样本效率低下，因为它们会丢弃过去的 rollout。现有的经验回放方法通过复用准确样本进行直接策略更新来解决这一问题，但这可能带来额外的存储成本，并使策略集中在狭窄的解集上。我们认为，历史数据应优先维持局部策略可塑性，而不是简单地强化准确性。我们将局部策略可塑性定义为一种持续能力，即相对于近期成功轨迹保持可回溯性和可切换性：在整个训练过程中，策略在近期可达的替代方案上保持不可忽略的支持度，从而能够在需要时平滑地重新分配概率质量，而不会被锁定在单一主导路径上。为此，我们提出了动态 Jensen-Shannon 回放（DyJR），这是一个简单而有效的正则化框架，使用来自近期轨迹的动态参考分布。DyJR 引入了两项创新：（1）时间敏感动态缓冲区，使用 FIFO 和自适应大小来仅保留时间上邻近的样本，与模型演化同步；（2）Jensen-Shannon 散度正则化，用正则化信号替代直接的回放策略梯度更新，以抑制过早过度承诺于单一 Rank-1 轨迹。在数学推理、Text-to-SQL 和编码基准上的实验表明，DyJR 优于 GRPO 以及 RLEP 和 Ex-GRPO 等基线，同时保持与原始 GRPO 相当的训练效率。此外，Rank-k token 概率演化和语义模式分析显示，集中度降低，替代延续的保留度更高。匹配准入目标比较和重复运行进一步证明了 DyJR 各组件的作用。
| 评论： | 已被 NeurIPS 2026 接收。30 页，4 幅图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2603.16157 [cs.LG] |
| （或 arXiv:2603.16157v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.16157 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Long Li [查看邮箱]
[v1]
2026年3月17日星期二 06:20:56 UTC（209 KB）
[v2]
2026年10月12日星期一 09:12:11 UTC（560 KB）
来源：arXiv cs.AI · arxiv.org