arXiv cs.CL· Zichen Bai, Yanli Wang, Yang Liu, Junhao Shi, Xueqin Liu, Jinguo Sun, Muye Li, Shaoqiang Zheng, Xuefei Diao, Zhuwei Zeng, Nan Duan, Peng Cao·· 10 小时前AI 评分31
Li²SAO：用组相对 actor-critic 自举提升轻量单轨迹异步 RL 优化
Li$^{2}$SAO: Lifting Light Singl-Rollout Asynchronous RL Optimization via Group-Relative Actor-Critic Bootstrapping
AI 导读
Li²SAO 通过组相对 actor-critic 自举，解决了轻量版 SAO（LiSAO）因 critic 未训练好而在训练早期落后 GRPO 的问题。该方法在 critic 冷启动阶段用组相对优势训练 actor、用组中心回报训练 critic，之后切换为单轨迹 GAE。实验显示 Li²SAO 在训练早期追平或超越 GRPO，并进一步提升后期性能上限，代码已开源。
正文 · AI 翻译
作者：Zichen Bai、Yanli Wang、Yang Liu、Junhao Shi、Xueqin Liu、Jinguo Sun、Muye Li、Shaoqiang Zheng、Xuefei Diao、Zhuwei Zeng、Nan Duan、Peng Cao
摘要：异步强化学习（RL）正成为大语言模型（LLM）后训练的主流范式，因为它在 rollout 到达时即更新模型，从而提升训练效率。近期研究认为，GRPO 中的组采样并不天然适合异步 RL 训练，因为 rollout 长度服从长尾分布，并提出单 rollout 异步优化（SAO）以提升稳定性和离策略行为，尤其是在智能体任务上。然而，SAO 依赖一个通过扩展价值预训练获得的闭源价值模型。本文在单轮推理和多轮智能体任务上分析了 GRPO 以及 LiSAO——我们对 SAO 的轻量复现，不使用预训练价值模型。我们发现 GRPO 在推理任务上优于 LiSAO，而在智能体任务上则相反。由于 LiSAO 的价值模型尚未训练充分，LiSAO 在训练早期明显落后于 GRPO。为解决这一问题，我们提出 Li$^{2}$SAO，通过组相对 actor-critic 自举来提升轻量单 rollout 异步优化：当 critic 处于冷启动状态时，用组相对优势训练 actor，用组中心回报训练 critic，之后训练切换为单 rollout GAE。实验表明，Li$^{2}$SAO 在训练早期追平或超越 GRPO，并进一步提高了后期性能上限。代码见 此 https URL。
| 学科： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.40726 [cs.CL] |
| （或本版本的 arXiv:2610.40726v1 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2610.40726 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zichen Bai [查看邮箱]
[v1]
2026年10月29日 星期四 09:02:00 UTC（968 KB）
来源：arXiv cs.CL · arxiv.org