arXiv cs.AI· Chenliang Li, Adel Elmahdy, Alex Boyd, Zhongruo Wang, Siliang Zeng, Alfredo Garcia, Parminder Bhatia, Taha Kass-Hout, Cao Xiao, Mingyi Hong·· 10 天前AI 评分22
SORL：用轮次级重要性采样与裁剪触发归一化稳定长程 LLM 智能体的离策略训练
Stabilizing Off-Policy Training for Long-Horizon LLM Agent via Turn-Level Importance Sampling and Clipping-Triggered Normalization
AI 导读
针对 PPO、GRPO 等 RL 算法在离策略训练多轮 LLM 智能体时易出现优化不稳定和性能崩溃的问题，研究者提出 SORL 框架，指出不稳定性源于 token 级优化与轮次结构交互的粒度错配，以及离策略重要性采样带来的高方差梯度。
正文 · AI 翻译
摘要：PPO 和 GRPO 等强化学习（RL）算法被广泛用于训练大语言模型（LLM）以完成多轮智能体任务。然而，在离策略训练流程中，这些方法可能表现出不稳定的优化动态，并容易发生性能崩溃。通过实证分析，我们识别出该设定下不稳定性的两个根本来源：（1）token 级策略优化与轮次结构化交互之间的粒度不匹配；（2）由离策略重要性采样和不准确的优势估计所导致的高方差且不可靠的梯度更新。为应对这些挑战，我们提出 SORL，即 Stabilizing Off-Policy Reinforcement Learning for Long-Horizon Agent Training。SORL 引入的机制使策略优化与多轮交互的结构对齐，并自适应地抑制不可靠的离策略更新，从而产生更保守、更稳健的学习动态。在该框架内，我们实例化了两种稳定化算法：SO-PPO 和 SO-GRPO。这两种算法旨在缓解梯度方差并防止优化崩溃，且无需谨慎的早停或启发式调参。我们在涵盖开放域问答、多跳问答和医学多项选择问答的基准上评估了 SO-PPO 和 SO-GRPO，并进一步通过在 DAPO-Math-17k 上训练、在 AIME-2024 上验证，评估了它们向数学推理异步 RL 的迁移。这些结果表明，SORL 提供了一个实用、可扩展且通用的框架，用于稳定多轮 LLM 智能体训练中的强化学习以及数学推理的异步 RL。
| Subjects: | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2511.20718 [cs.LG] |
| （或 arXiv:2511.20718v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2511.20718 arXiv 颁发的 DOI 经由 DataCite |
提交历史
来自：Chenliang Li [查看邮箱]
[v1]
2025年11月25日 星期二 05:54:02 UTC（682 KB）
[v2]
2026年2月24日 星期二 23:08:24 UTC（820 KB）
[v3]
2026年10月5日 星期一 20:37:23 UTC（2,170 KB）
来源：arXiv cs.AI · arxiv.org