arXiv cs.CL· Zheyuan Zhang, Zehao Wen, Alvin Zhang, Andrew Wang, Jianwen Xie, Daniel Khashabi, Tianmin Shu·· 11 小时前AI 评分38
AgentOdyssey：面向测试时持续学习智能体的开放式长程文本游戏生成框架
AgentOdyssey: Open-Ended Long-Horizon Text Game Generation for Test-Time Continual Learning Agents
AI 导读
AgentOdyssey 是一个程序化生成开放式文本游戏的评测框架，用于评估测试时持续学习智能体的探索、世界知识获取、情景记忆与长程规划能力。研究在六个生成游戏上评测多种智能体范式，发现即便最强智能体在困难长程游戏上仍远低于人类水平。对测试时训练的专项研究显示，短期记忆有益，但经监督微调的智能体仍会出现灾难性遗忘。
正文 · AI 翻译
摘要：为了让智能体在测试时能够通过与世界的交互持续学习，它们必须能够有效探索、获取新的世界知识与技能、保留相关的片段式经验，并在长时程上进行规划。为评估测试时持续学习智能体的这些关键能力，我们提出了 AgentOdyssey，这是一个新颖的评估框架，能够程序化生成具有丰富实体、世界动态和长时程任务的开放式文本游戏。关键在于，AgentOdyssey 超越了传统机器学习中“测试时不发生学习”的假设，将智能体置于一个连续的、长时程的设定中，在整个部署过程中交织进行学习与推理。我们进一步提出了一种多方面的评估方法，不仅衡量游戏进展，还提供关于世界知识获取、片段式记忆、物体与动作探索、动作多样性以及模型成本的诊断性测试。我们在六个生成的游戏中评估了多种智能体范式。实验结果揭示了智能体关键能力上的严重局限，以及影响其有意义时程的因素。尽管性能会随更强的基座模型而提升，但即使是最顶尖的智能体，在一个高要求的长时程游戏上仍远低于人类表现，留有巨大的改进空间。此外，一项针对智能体测试时训练的专项研究发现，尽管短期记忆有益，但经过监督微调训练的智能体仍会遭受灾难性遗忘，这表明有效的参数化持续学习对于测试时智能体而言仍是一个未解决的挑战。
| 评论： | 已被 NeurIPS 2026 接收 | 项目页面：此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2606.24893 [cs.CL] |
| （或 arXiv:2606.24893v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.24893 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zheyuan Zhang [查看邮箱]
[v1]
2026年5月29日星期五 22:40:51 UTC（4,002 KB）
[v2]
2026年10月16日星期五 03:49:29 UTC（3,452 KB）
来源：arXiv cs.CL · arxiv.org