arXiv cs.AI· Haofei Yu, Yixing Chen, Yining Zhao, Xuyan Ye, Yuxiang Liu, Zhigang Hua, Yan Xie, Shuang Yang, Jiaxuan You·· 2 天前AI 评分34
CoPE：让语言智能体的行动与预测协同进化
Co-Evolving Acting and Forecasting for Language Agents
AI 导读
CoPE 通过在多步动作序列上增加预测性监督，让语言智能体的行动与预测能力在共享骨干网络中协同进化，推理时仍逐步行动、无额外开销。
正文 · AI 翻译
摘要：训练语言智能体的瓶颈在于长时程 rollout 的高成本，而标准的智能体强化学习（RL）仅从终端标量奖励中学习，导致中间步骤中的监督信息大多未被利用。先前的工作通过价值目标（估计每步成功概率）或观测目标（拟合环境响应）来利用这种监督。两者都难以很好地构建：(1) 价值目标对轨迹中每一步都来自同一个标量信号；(2) 观测目标（如网页和终端日志）冗长且嘈杂，且只能向前看一步。我们提出 CoPE，它增加了第三类多步动作目标。在成功的同策略轨迹上，CoPE 训练策略主干网络生成跟随每个历史之后的动作序列。当从先前历史进行预测时，每个动作也受到监督，形成一个时间集成，共享主干网络在训练期间吸收该集成，从而使行动与预测能够共同演化。策略在推理时仍然一次只行动一步，没有额外开销。在五个基准（ALFWorld、ScienceWorld、WebShop、$\tau^2$-bench 和 AppWorld）上，CoPE (1) 在模拟环境中取得了比 GRPO 和带有预测辅助目标的 RL 基线更强的总体性能，同时在两个真实应用上提升了整体性能；(2) 在 ScienceWorld 上，样本效率分别比 ECHO 和 GRPO 高出最多 $1.9\times$ 和 $2.0\times$；(3) 仅使用单个策略主干网络就实现了这些收益，无需额外模型、单独的预训练或推理开销。代码库可在 此 https URL 获取。
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.20597 [cs.AI] |
| （或 arXiv:2610.20597v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20597 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Yixing Chen [查看电子邮件]
[v1]
2026年10月14日星期三 17:59:28 UTC（602 KB）
[v2]
2026年10月15日星期四 17:52:52 UTC（596 KB）
来源：arXiv cs.AI · arxiv.org