arXiv cs.AI· Min Cai, Dan Zhang, Gao Xing, Libin Ma, Zhaohui Xu, Xi Ye·· 3 天前AI 评分29
EAU：面向用户中心智能体的环境-智能体-用户协同演化框架
EAU: Environment-Agent-User Co-evolution for Training User-Centric Agents
AI 导读
EAU 是一个让环境、智能体与用户模拟器协同演化的元智能体框架，通过监控训练轨迹与工具调用、诊断失败并热更新用户模拟器、环境、奖励设计与 RL 配置，使训练设置随策略共同进化。在三个交互式智能体基准和两个基座模型上，EAU 整体得分超越最强基线 14.7–15.0%，ColBench 任务成功率最高提升 36.7%。
正文 · AI 翻译
摘要：训练 LLM 智能体与用户进行多轮交互具有挑战性，因为学习信号不仅取决于智能体，还取决于用户模拟器和环境，它们共同塑造了智能体的经验。模拟用户可能是随机的或不一致的，而环境可能包含不可靠的工具、不完整的状态覆盖和错误的验证器。先前的工作主要通过奖励塑形或更密集的监督来解决由此产生的不稳定性，同时将这些组件视为固定的。我们转而引入 EAU，一个用于环境—智能体—用户共同演化的元智能体框架。在训练过程中，EAU 监控轨迹、工具调用记录、奖励和训练统计；诊断失败和无信息交互；并提出对用户模拟器、环境、奖励设计和 RL 配置的有针对性修改。经过验证的修改会被热替换到正在进行的运行中，使训练设置能够与策略一起演化。这些调整还会跨运行持续保留，因此后续训练可以建立在先前发现的改进之上，而不是从固定设置重新开始。我们通过用户和环境动态的可编辑符号表示来实现这一过程，而智能体仍然是使用 RL 优化的神经 LLM。在三个交互式智能体基准和两个骨干模型上，EAU 始终优于先前的 RL 方法，将总体得分较最强基线提高 14.7--15.0%，并将 ColBench 上的成功任务完成率提升最多 36.7%，表明训练系统与策略的共同演化可以显著改善多轮 RL。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.16523 [cs.AI] |
| （或 arXiv:2610.16523v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16523 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Min Cai [查看电子邮件]
[v1]
2026年10月12日星期一 10:11:38 UTC（1,774 KB）
来源：arXiv cs.AI · arxiv.org