arXiv cs.CL· Yuyao Wang, Zhongjian Zhang, Mo Chi, Kaichi Yu, Yuhan Li, Miao Peng, Bing Tong, Chen Zhang, Yan Zhou, Jia Li·· 10 小时前AI 评分35
EvoMemBench：从自演化视角评测 LLM 智能体记忆能力
EvoMemBench: Benchmarking Agent Memory from a Self-Evolving Perspective
AI 导读
研究者提出 EvoMemBench，一个按记忆范围（单回合内 vs. 跨回合）与记忆内容（知识导向 vs. 执行导向）两轴组织的 LLM 智能体记忆统一基准。该基准在标准化协议下对比了 15 种代表性记忆方法与强长上下文基线，结果显示长上下文基线仍极具竞争力，记忆在当前上下文不足或任务困难时帮助最大，且没有单一记忆形式在所有场景下稳定有效。
正文 · AI 翻译
摘要：近期针对大型语言模型（LLM）智能体的基准测试主要评估推理、规划与执行能力。然而，记忆对智能体同样至关重要，因为它使智能体能够随时间存储、更新和检索信息。这一能力仍未得到充分评估，主要原因是现有基准测试缺乏系统化评估记忆机制的方法。本文从自演化视角研究智能体记忆，并提出 EvoMemBench——一个沿两个维度组织的统一基准：记忆范围（回合内 vs. 跨回合）与记忆内容（知识导向 vs. 执行导向）。我们在标准化协议下，将 15 种具有代表性的记忆方法与强长上下文基线进行比较。结果表明，当前记忆系统仍远未达到通用解决方案：长上下文基线仍极具竞争力；当当前上下文不足或任务困难时，记忆的帮助最大；没有任何单一记忆形式能在所有设置下稳定奏效。基于检索的方法在知识密集型场景中仍然表现强劲，而程序性记忆与长期记忆方法在其存储的经验与任务结构相匹配时，对执行导向任务更为有效。我们希望 EvoMemBench 能促进未来针对基于 LLM 的智能体更有效记忆系统的研究。我们的数据集与代码可在 此 https URL 获取。
| Comments: | 已被 NeurIPS 2026 接收 |
| Subjects: | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| Cite as: | arXiv:2605.18421 [cs.CL] |
| （或本版本的 arXiv:2605.18421v3 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2605.18421 由 DataCite 颁发的 arXiv DOI |
Submission history
来自：Yuyao Wang [查看邮箱]
[v1]
2026年5月18日星期一 13:54:38 UTC（571 KB）
[v2]
2026年6月15日星期一 07:27:08 UTC（566 KB）
[v3]
2026年10月30日星期五 08:21:19 UTC（575 KB）
来源：arXiv cs.CL · arxiv.org