arXiv cs.CL· Vatsal Venkatkrishna, Nico Carlsen Daheim, Iryna Gurevych·· 11 小时前AI 评分31
通过变分学习实现 RLVR 的参数空间探索：3PO 方法
Parameter Exploration for RLVR via Variational Learning
AI 导读
研究者提出 Perturbed Parameter Policy Optimization（3PO）系列方法，通过从后验中采样不同策略实现参数空间探索，作为动作空间探索（如温度缩放）的补充控制手段。
正文 · AI 翻译
摘要：长期以来，探索一直是强化学习研究的重点。近来，越来越多的证据表明，它也是 LLM 强化学习配方中的重要组成部分，能够显著影响下游性能。许多现有方法在动作空间中控制探索，例如使用温度缩放。然而，这些方法无法重排 token，只能影响输出分布的方差。这限制了探索，并可能导致发散或训练停滞。在此，我们研究参数空间探索，其中 rollout 通过从后验中采样不同的策略来生成，每个策略可能探索不同的 rollout。采样多样性更少或更多的策略，则成为对探索的补充控制手段。我们引入了一系列称为扰动参数策略优化（3PO）的方法，它们使用不同的采样策略和不同的 rollout 分组来进行奖励估计。在 Olmo-3-1025-7B 和 Qwen2.5-Math-7B 上针对数学推理和代码生成任务的实验表明，这些方法在几乎相同的 FLOPs 成本下，能够比标准 GRPO 提升平均下游性能。此外，与 GRPO 和动作空间基线相比，使用多个参数样本在训练期间通常会产生更少的零优势组以及更少的格式错误或不正确的 rollout。总体而言，我们的工作提供了证据，表明参数空间探索可以改进 LLM 的强化学习。
| 评论： | 已被 NeurIPS 2026 接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| ACM 分类： | I.2.6 |
| 引用为： | arXiv:2608.09805 [cs.LG] |
| （或 arXiv:2608.09805v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.09805 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Vatsal Venkatkrishna [查看电子邮件]
[v1]
2026年8月10日星期一 16:28:07 UTC（1,427 KB）
[v2]
2026年11月5日星期四 15:37:07 UTC（1,341 KB）
来源：arXiv cs.CL · arxiv.org