arXiv cs.AI· Dayang Liang, Lang Feng, Bo An, Yunlong Liu·· 14 小时前AI 评分31
SAPO：面向智能体强化学习的单次 rollout 自回归策略优化框架
SAPO: Single-Rollout Autoregressive Policy Optimization for Agentic Reinforcement Learning
AI 导读
SAPO 是一种 PPO 风格的高效智能体强化学习框架，在单个因果语言模型内统一策略优化与价值学习，按因果边界依次生成动作和价值估计并共享参数。在 ALFWorld 和 WebShop 上使用 Qwen2.5-1.5B/7B 与 Qwen3-14B 测试，相比强 PPO 基线峰值 GPU 显存降低 24.8%、每轮运行时间减少 23.1%，任务成功率持平或略有提升。
正文 · AI 翻译
摘要：智能体强化学习（RL）已成为提升大语言模型（LLM）能力的重要后训练方法。然而，现有方法在策略性能与资源效率之间面临权衡。传统的近端策略优化（PPO）实现因单独的评论家模型而带来大量内存开销，而无评论家的组相对方法需要多次 rollout，并在长时程任务上可能面临学习瓶颈。在本工作中，我们提出单次 rollout 自回归策略优化（SAPO），这是一种高效的 PPO 风格框架，在单个因果语言模型内统一了策略优化与价值学习。SAPO 利用 LLM 的自回归结构，在不同因果边界处共享参数依次生成动作与价值估计，然后联合优化 PPO 目标与一个辅助的在线 SARSA 目标，并采用回合级广义优势估计，其中后者旨在促进价值学习。在 ALFWorld 和 WebShop 上使用 Qwen2.5-1.5B/7B 和 Qwen3-14B 进行的大量实验表明，与强 PPO 基线相比，SAPO 将峰值 GPU 内存使用降低 24.8%，每次迭代运行时间降低 23.1%，同时任务成功率持平或略有提升。我们的实验还表明，SAPO 在任务成功率和训练稳定性上均优于组相对策略优化（GRPO）及近期前沿变体。
| 评论： | 项目页面：此 https URL |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2608.19842 [cs.AI] |
| （或 arXiv:2608.19842v4 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.19842 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Dayang Liang [查看邮箱]
[v1]
2026年8月20日星期四 09:43:47 UTC（315 KB）
[v2]
2026年8月30日星期日 04:13:02 UTC（315 KB）
[v3]
2026年9月30日星期三 15:16:29 UTC（944 KB）
[v4]
2026年10月26日星期一 13:13:30 UTC（1,079 KB）
来源：arXiv cs.AI · arxiv.org