arXiv cs.CL· Xuanchang Zhang, Tong Zhang·· 2 天前AI 评分24
Gibbs-Gap Policy Optimization：面向可验证奖励离线强化学习的 GGPO 方法
Gibbs-Gap Policy Optimization for Off-Policy RL with Verifiable Rewards
AI 导读
研究提出 Gibbs-Gap Policy Optimization（GGPO），通过对同一提示词下各回复的 KL 调整奖励做 log-mean-exp 对比来优化策略，无需 learner-to-behavior 重要性权重。
正文 · AI 翻译
摘要：使用可验证奖励的强化学习通常在不同的、可能过时的行为策略所生成的回复上训练语言模型。用学习者到行为的重要性权重来纠正这种不匹配，会在长回复中引入高方差。我们提出 Gibbs-Gap Policy Optimization（GGPO），它在同一提示的多个回复之间最小化经 KL 调整的奖励的对数均值指数对比，而不使用学习者到行为的重要性权重。我们从 KL 正则化策略优化推导出 GGPO：在策略上，其总体损失恰好是 KL 正则化的最优性差距；在适当的覆盖条件下，学习者的单回复期望奖励至少是行为策略的 best-of-$K$ 奖励，减去原始有限组损失、正则化和有限训练数据的项。我们通过精确的 Gibbs 目标组合以及在局部参考控制和逐 token 行为不匹配下的有限数据最终策略奖励界，刻画了参考刷新。这种刷新在经验上很重要：在一项消融实验中，固定参考的 GGPO 在五项基准问题加权平均上得分为 $32.96$，而使用默认刷新计划时为 $46.58$。数学推理实验进一步表明，在训练-推理不匹配和固定离线数据下，GGPO 优于 GRPO 和 AGRO，同时在受控策略过时程度增加时保持其性能。
| 评论： | 51 页。代码：此 https URL |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.20814 [cs.LG] |
| （或 arXiv:2610.20814v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20814 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xuanchang Zhang [查看邮箱]
[v1]
2026 年 10 月 14 日星期三 18:59:29 UTC（432 KB）
来源：arXiv cs.CL · arxiv.org