arXiv cs.CL· Fei Ding·· 9 天前AI 评分22
群体策略优化中 KL 正则化为何失效：ZCPO 用条件 KL 校准组内奖励系数
When KL Regularization Misfires in Group Policy Optimization
AI 导读
针对移除参考策略 KL 正则化有时反而提升群体策略优化效果的现象，研究者分析了 KL 与奖励交互中的七种潜在失效模式，包括奖励裁剪后的残余 KL 更新、梯度抵消、同奖励组内 KL 增长、KL 随回复长度增长及贡献失衡、KL 集中于少量 token，以及将 k1 纳入奖励时的采样噪声。
正文 · AI 翻译
摘要：为什么移除参考策略 KL 正则化有时能改善组策略优化？这促使我们研究参考策略信息应如何进入组相对更新。我们分析了 KL 与奖励交互中的七种潜在失效模式：奖励裁剪后、梯度抵消后以及奖励相同的组中的残余 KL 更新；KL 随响应长度增长及其相对贡献的不平衡；KL 集中在少量 token 上；以及将 k1 纳入奖励时的采样噪声。我们提出零和校准策略优化（ZCPO），它使用由条件 KL 度量的相对漂移来校准组内奖励系数，并将其整合到基础代理目标中。数学推理实验和消融实验支持了该设计在我们设定下的有效性。
| 评论： | 27 页 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| MSC 分类： | 68T05, 68T50 |
| ACM 分类： | I.2.6; I.2.7 |
| 引用为： | arXiv:2610.12161 [cs.LG] |
| （或 arXiv:2610.12161v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12161 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Ding Fei [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 15:39:09 UTC（2,295 KB）
来源：arXiv cs.CL · arxiv.org