arXiv cs.AI· Kaibing Yang, Guangfeng Cai, Shengtian Yang, Shuo He, Yu Li, Mengyi Liu, Pengwei Chen, Jun Xu, Lei Feng·· 6 天前AI 评分27
CovGPO：用首次访问覆盖率从全失败组中学习长程智能体任务
Learning from All-Failed Groups via First-Visit Coverage in Long-Horizon Agentic Tasks
AI 导读
针对长程智能体任务中组策略优化因采样失衡产生大量全失败组、组内相对优势无法提供更新方向的问题，研究者提出 Coverage-conditioned Group Policy Optimization（CovGPO），仅在组内所有样本结果奖励为零时利用首次访问观测覆盖率，为状态探索动作分配更高相对优势且不破坏原始奖励信号。
正文 · AI 翻译
摘要：基于分组的策略优化已被越来越多地用于通过比较组内的轨迹或步骤，从稀疏的结果奖励中训练大语言模型（LLM）智能体。然而，在困难的长时程智能体任务上，我们发现这种比较受到采样不平衡的困扰：重复或低效动作主导了策略的高概率区域，使得有用的状态改变动作采样不足。这种不平衡产生了许多全部失败的 rollout 组，而此类组内的相对优势无法为策略更新提供方向。因此，采样不平衡与全部失败的组共同坍缩为一个自我延续的信用陷阱：以失败为主导的采样不产生学习信号，使得重复的低效动作得以持续存在。为打破这一陷阱，我们提出了覆盖条件分组策略优化（CovGPO），它仅在一个组内所有样本都获得零结果奖励时，才使用首次访问的观测覆盖。具体而言，在此类组内，CovGPO 为状态探索动作分配更高的相对优势，同时不破坏原始奖励信号，因为到达新的观测是任务成功的前提。在两个具有挑战性的智能体基准 ALFWorld 和 WebShop 上的实验表明，CovGPO 持续优于基于分组的基线，在困难任务上提升尤为显著。
| Subjects: | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2607.22724 [cs.LG] |
| （或 arXiv:2607.22724v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.22724 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yang Kaibing [查看邮箱]
[v1]
2026年7月22日星期三 04:01:56 UTC（2,120 KB）
[v2]
2026年10月9日星期五 00:42:33 UTC（2,061 KB）
来源：arXiv cs.AI · arxiv.org