arXiv cs.AI· Kaichen Zhang, Yuzhong Hong, Junwei Bao, Hongfei Jiang, Yang Song, Dingqian Hong, Hui Xiong·· 11 小时前AI 评分32
GVPO：面向大语言模型后训练的分组方差策略优化
GVPO: Group Variance Policy Optimization for Large Language Model Post-Training
AI 导读
研究者提出分组方差策略优化（GVPO），将 KL 约束奖励最大化的解析解直接嵌入梯度权重，使梯度与最优策略对齐。GVPO 保证存在唯一最优解且恰为 KL 约束奖励最大化目标，并支持灵活采样分布，规避 on-policy 与重要性采样的限制。该工作已被 NeurIPS 2025 接收，扩展版 GVPO++ 另覆盖 on-policy 蒸馏。
正文 · AI 翻译
摘要：后训练在精炼和对齐大语言模型以满足特定任务和人类偏好方面起着关键作用。尽管后训练技术的最新进展，如组相对策略优化（GRPO），利用增加采样并结合相对奖励评分来获得更优性能，但这些方法往往存在训练不稳定性，限制了它们的实际采用。作为下一步，我们提出组方差策略优化（GVPO）。GVPO 将 KL 约束奖励最大化的解析解直接纳入其梯度权重，确保与最优策略对齐。该方法提供了直观的物理解释：其梯度反映了隐式奖励的中心距离与实际奖励的中心距离之间的均方误差。GVPO 具有两个关键优势：（1）它保证唯一最优解，恰好是 KL 约束奖励最大化目标；（2）它支持灵活的采样分布，避免了同策略和重要性采样的限制。通过将理论保证与实际适应性统一起来，GVPO 为可靠且通用的 LLM 后训练建立了新范式。
| 评论： | 被 NeurIPS 2025 接收。扩展版本见“GVPO++：用于 LLM 后训练和同策略蒸馏的组方差策略优化”（arxiv.org/abs/2609.21432） |
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2504.19599 [cs.AI] |
| （或本版本使用 arXiv:2504.19599v4 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2504.19599 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Kaichen Zhang [查看邮箱]
[v1]
2025 年 4 月 28 日星期一 09:02:24 UTC（23 KB）
[v2]
2025 年 5 月 19 日星期一 06:40:29 UTC（873 KB）
[v3]
2025 年 10 月 27 日星期一 10:30:01 UTC（269 KB）
[v4]
2026 年 10 月 16 日星期五 08:09:27 UTC（266 KB）
来源：arXiv cs.AI · arxiv.org