arXiv cs.AI· Zhicheng Cai, Xinyuan Guo, Hanlin Wu, Wei-Ying Ma, Ya-Qin Zhang, Hao Zhou·· 9 天前AI 评分25
RIPO：用黎曼等距策略优化解决 LLM 强化学习中的探索崩溃
Beyond Euclidean Clipping: Overcoming Exploration Collapse in LLM RL via Riemannian Isometric Policy Optimization
AI 导读
针对 PPO-Clip 因用欧氏度量衡量策略差异、与策略黎曼流形的内在几何不一致而导致探索崩溃的问题，研究者提出黎曼等距策略优化（RIPO），在黎曼流形上保证等距策略更新，平衡探索与利用并改善偏差-方差权衡。在七个竞赛级基准上，RIPO 显著超越现有 LLM RL 算法，AIME24 上较 GRPO 最高提升 60%。
正文 · AI 翻译
摘要：强化学习（RL）已成为增强 LLM 推理能力的主流范式。然而，采用 PPO-Clip 的 RL 算法本质上受限于探索崩溃。后续工作仍以启发式为主，未能找出 PPO-Clip 失败的根本原因。本工作揭示了 PPO-Clip 的根本缺陷：它隐式地使用欧几里得度量来衡量策略差异，这在理论上与策略黎曼流形上的内在几何不一致。这种几何错配导致在低概率区域更新过于保守，而在高概率区域更新过于激进，最终导致探索崩溃。为纠正这一几何缺陷，我们提出了黎曼等距策略优化（RIPO），它保证在黎曼流形上进行等距策略更新，有效平衡探索与利用。我们进一步表明，RIPO 实现了有利的偏差-方差权衡，从而稳定了优化。大量实验表明，RIPO 在七个竞赛级基准上显著超越现有的 LLM RL 算法（在 AIME24 上相较 GRPO 提升高达 60%）。
| 评论： | ICML 2026 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2607.10169 [cs.LG] |
| （或 arXiv:2607.10169v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.10169 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhicheng Cai [查看邮箱]
[v1]
2026年7月11日星期六 07:19:59 UTC（2,494 KB）
[v2]
2026年10月8日星期四 16:00:32 UTC（2,493 KB）
来源：arXiv cs.AI · arxiv.org