arXiv cs.AI· Shijue Huang, Hangyu Guo, Hengheng Zhang, Guo An, Zhitao He, Qi Tian, Yiren Feng·· 10 小时前AI 评分42
ReScopeBench:面向演化环境中长期智能体经验生命周期的基准测试
Towards Robust Long-Lived Agents: Benchmarking Experience Lifecycles in Evolving Environments
AI 导读
研究者提出 ReScopeBench,一个覆盖 18 个交互环境的基准,用于评测长期智能体的经验生命周期,区分环境结构经验与跨任务规则经验。该基准以经验优先方式构建任务流并引入静默环境变化,在 20 个模型上测试发现:保留的经验能提升任务表现,但环境变化后智能体难以维持经验时效性,即使经验被正确记录也未必能完成任务。
正文 · AI 翻译
摘要:随着智能体能力不断增强,它们正从一次性任务转向在用户连续目标中提供持续协助。这种协助要求智能体了解陌生环境如何运作、在不同任务间复用所学内容,并在环境演变时保持这些经验始终有效。现有基准越来越多地研究经验复用与适应,但对智能体究竟会修订、保留或丢失积累经验中的哪些部分,提供的洞见仍然有限。为填补这一空白,我们推出 ReScopeBench,这是一个覆盖 18 个交互环境的经验生命周期基准。它将关于环境如何组织与访问的结构性经验,与关于指导跨任务决策的可复用原则和约束的规则经验区分开来。为研究经验如何被获取、复用和修订,我们提出一种经验优先的构建方法。它围绕共享经验构建任务流,并引入静默的环境变化。我们评估任务表现,并跟踪每条任务流中已保存经验的变化。在 20 个模型中,我们发现保留的经验能提升任务表现,但智能体难以在环境变化时保持其时效性。即使所需经验被正确记录,智能体也并非总能成功完成任务。这些发现表明,选择性维护与有效利用是长期存续智能体面临的两个互补挑战。
| 主题: | 人工智能(cs.AI) |
| 引用为: | arXiv:2611.05450 [cs.AI] |
| (或 arXiv:2611.05450v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.05450 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Shijue Huang [查看邮箱]
[v1]
2026年11月3日星期二 17:57:20 UTC(1,500 KB)
来源:arXiv cs.AI · arxiv.org