arXiv cs.CL· Yunan Wang, Minghui Song, Zihan Zhang, Shaohan Huang, Haizhen Huang, Furu Wei, Weiwei Deng, Feng Sun, Qi Zhang·· 11 小时前AI 评分34
G2PO：面向长程智能体强化学习的组图策略优化
Group-Graph Policy Optimization for Long-Horizon Agentic Reinforcement Learning
AI 导读
研究者提出 Group-Graph Policy Optimization（G2PO），一种面向多轮智能体任务的组式强化学习算法，将线性交互轨迹转换为全局状态转移图，通过组聚合状态价值估计降低采样方差，并以边为中心全局标准化 TD 误差来识别关键状态转移。
正文 · AI 翻译
摘要：基于分组的强化学习（RL）显著增强了大型语言模型（LLM）在智能体场景中的能力。为实现更细粒度的策略更新，近期的智能体 RL 框架已从轨迹级训练转向步级训练。然而，长时程智能体 RL 面临严重的奖励稀疏与延迟问题，因为反馈往往要等到数十个交互步骤之后才出现。尽管现有的步级框架细化了训练粒度，其信用分配仍然较为粗放，并且仍将智能体探索视为孤立的线性轨迹。这种过度简化的视角忽略了状态转移固有的图结构，导致状态价值估计方差高、信用分配短视且局部化。为克服这些关键瓶颈，我们提出 Group-Graph Policy Optimization（G2PO），一种专为多轮智能体任务设计的新型基于分组的 RL 算法。G2PO 显式地将线性交互轨迹转换为全局状态转移图。通过聚合不同轨迹中的相同观测，我们引入分组聚合状态价值估计，以降低采样方差和轨迹相关偏差。此外，我们将智能体动作重新定义为状态节点之间的转移，并提出一种以边为中心的优势估计策略。通过在整个图上全局标准化时序差分（TD）误差，G2PO 显式识别并优先考虑驱动绝对任务进展的关键转移。在具有代表性的长时程基准 WebShop、ALFWorld 和 AppWorld 上的大量实验表明，G2PO 显著优于最先进的基于提示和 RL 的基线，相比 GRPO 取得了高达 22.2% 的成功率提升。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2606.22995 [cs.LG] |
| （或 arXiv:2606.22995v2 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2606.22995 由 DataCite 颁发 arXiv DOI |
提交历史
来自：Yunan Wang [查看邮箱]
[v1]
2026年6月22日 星期一 08:12:47 UTC（903 KB）
[v2]
2026年10月16日 星期五 06:54:03 UTC（906 KB）
来源：arXiv cs.CL · arxiv.org