arXiv cs.AI· Shuibai Zhang, Junhyuck Kim, Gyeongman Kim, Jaewoong Cho·· 1 天前AI 评分34
LGPO：LLM 强化学习稳定训练是否必须依赖重要性采样比率？
Is the Importance Ratio Necessary for Stable Reinforcement Learning in LLMs?
AI 导读
研究提出 Likelihood-Gated Policy Optimization（LGPO），用基于似然的门控实现软信任域约束，无需计算旧策略似然。
正文 · AI 翻译
摘要：强化学习（RL）已成为大语言模型（LLM）后训练的核心环节。然而，GRPO 等主流 RL 方法需要同时计算旧策略与当前策略的似然以构造重要性采样比，由此带来不可忽视的开销。在本工作中，我们提出似然门控策略优化（LGPO），它通过基于似然的门控施加软信任域约束，从而无需计算旧策略似然。实验表明，移除重要性采样校正项不会损害训练稳定性，而移除信任域机制则可能导致崩溃。此外，基于比值的裁剪在全同策略训练中可能失效：重要性比值恒为 1，因此基于比值的信任域约束永远不会被激活。在 GRPO 稳定的标准训练设置下，LGPO 达到了与之相当的训练稳定性和峰值性能，同时相比重新计算旧策略似然的标准实现，平均减少约 18% 的训练时间。在 GRPO 失效的全同策略训练中，LGPO 仍保持稳定，从而在各种训练模式下实现更高效、更稳健的 LLM RL 后训练。
| 评论： | 21 页，11 幅图，5 张表。已被 NeurIPS 2026 接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.15404 [cs.LG] |
| （或 arXiv:2611.15404v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.15404 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Junhyuck Kim [查看邮箱]
[v1]
2026 年 11 月 11 日星期三 12:31:55 UTC（502 KB）
来源：arXiv cs.AI · arxiv.org