arXiv cs.AI· Yibo Li, Jinhang Qiu, Zhi Zheng, Qianyun Guo, Jiaying Wu, Shuo Ji, Bryan Hooi·· 10 天前AI 评分30
Learn2Play Bench：LLM 智能体在陌生环境中从经验学习的效果如何？
Learn2Play Bench: How Well Do LLM Agents Learn from Experience in Unfamiliar Environments?
AI 导读
研究者推出 Learn2Play Bench，用规则新颖或反直觉的文本游戏评测 LLM 智能体的经验学习能力，游戏提供可复现反馈与自动评分，并变换实例测试迁移。评测发现：完整保留动作与反馈记录比总结成规则更利于学习；顶尖人类玩家峰值分数高于受测智能体，策略更多样、重复动作更少；固定骨干模型时更换 harness 可提升表现并降低估算推理成本。
正文 · AI 翻译
摘要：从经验中学习对于 LLM 智能体适应陌生且动态的环境至关重要。因此，评估这一能力对于理解智能体如何有效地获取和使用新知识非常重要。现有基准已试图评估这一能力，但它们主要评估的是规则已在指令中提供或对预训练模型来说已经熟悉的任务，从而难以区分从交互中学习与利用已有知识进行推理。为解决这一问题，我们提出了 Learn2Play Bench，这是一个由新设计的基于文本的游戏组成的基准，其规则新颖或反直觉，要求智能体通过交互获取知识，而非仅依赖预训练知识。这些游戏提供可复现的反馈和自动评分，从而能够对重复尝试中的学习进行受控评估。我们还改变游戏实例，以测试智能体能否将所学应用到新情境中。因此，我们评估了骨干模型、自演化方法和智能体框架如何影响智能体的学习能力，并揭示了三个发现：(1) 经验保留：保留完整的动作和反馈记录比将这些经验总结为规则或策略更能支持有效学习。(2) 人类与智能体差距：表现最好的人类玩家达到的峰值分数高于所评估的智能体。人类探索更多样的策略，且更少重复动作。(3) 框架很重要：在骨干模型固定的情况下，改变框架可以提高性能，同时降低估计推理成本。总之，这些发现为理解 LLM 智能体如何从经验中学习提供了洞见，并为未来改进其学习能力的工作指明了方向。项目网站：this https URL
| Subjects: | 人工智能（cs.AI） |
| Cite as: | arXiv:2610.08215 [cs.AI] |
| （或 arXiv:2610.08215v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08215 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yibo Li [查看电子邮件]
[v1]
2026年10月6日星期二 12:08:45 UTC（4,060 KB）
来源：arXiv cs.AI · arxiv.org