arXiv cs.AI· Zhicheng Cai, Xinyuan Guo, Hanlin Wu, Weinan Dai, Yuyan Zhou, Wei-Ying Ma, Ya-Qin Zhang, Hao Zhou·· 6 天前AI 评分24
GPPO：从散度视角统一 LLM 强化学习算法
Generalized Proximal Policy Optimization: Unifying LLM RL Algorithms from the Perspective of Divergence
AI 导读
研究者提出 Generalized Proximal Policy Optimization（GPPO），一个通过散度视角统一理解和设计 LLM 强化学习算法的框架，PPO、DAPO、DPPO、RIPO 均为其特例。
正文 · AI 翻译
摘要：强化学习已成为提升 LLM 推理能力的基础范式。然而，主流方法近端策略优化（PPO）依赖于一种几何退化的裁剪代理，无法自适应地抵抗策略偏移，导致过早裁剪和探索能力下降。后续变体通过碎片化且启发式的修改缓解了这些问题。我们提出广义近端策略优化（GPPO），一个从散度视角理解和设计 LLM RL 算法的原则性统一框架。我们建立了具有单调性能提升保证的广义 $f$-散度信赖域理论，并表明不同的 $f$-散度会诱导出不同的几何结构和策略更新动态。我们进一步引入了新颖的估计器拓扑，相比传统的单样本蒙特卡洛估计能提供更忠实的散度估计。在该框架下，PPO 以及 DAPO、DPPO 和 RIPO 等近期变体均成为特例，从而建立起一个原则性的二维设计空间 {散度 $\times$ 估计器}。在八个竞赛级数学和编程基准上的大量实验表明，这两个维度都至关重要。表现最佳的 GPPO 实例在数学和编程任务上分别超越标准 GRPO 达 50% 和 14%，达到 SOTA 性能。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.13015 [cs.LG] |
| （或 arXiv:2610.13015v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13015 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhicheng Cai [查看邮箱]
[v1]
2026年10月9日星期五 05:17:26 UTC（3,400 KB）
来源：arXiv cs.AI · arxiv.org