arXiv cs.CL· Wei-Chieh Huang, Weizhi Zhang, Yuchen Wu, Yankai Chen, Eric Hanchen Jiang, Wooseong Yang, Yiwei Yang, Henry Peng Zou, Hanrong Zhang, Ying Nian Wu, Haolun Wu, Kai-Wei Chang, Philip S. Yu, Xue Liu, Aylin Caliskan·· 11 小时前AI 评分38
记忆基底如何选？LLM 智能体记忆基底的统一评测
Harness the Memory: A Holistic Evaluation of Memory Substrates in Memory Agents
AI 导读
一项被 NeurIPS 2026 接收的研究用 26 项性能与效率指标，在仅改变记忆基底的受控框架下统一评测了 11 种记忆方法，覆盖稠密与稀疏索引、文本记录、结构化存储、分层存储、参数化更新等，并用 3 个基座模型在 4 个基准套件上测试。
正文 · AI 翻译
作者：Wei-Chieh Huang、Weizhi Zhang、Yuchen Wu、Yankai Chen、Eric Hanchen Jiang、Wooseong Yang、Yiwei Yang、Henry Peng Zou、Hanrong Zhang、Ying Nian Wu、Haolun Wu、Kai-Wei Chang、Philip S. Yu、Xue Liu、Aylin Caliskan
摘要：记忆正成为长时程 LLM 智能体的核心基础设施，然而现有评估对于在不同运行机制下应选用哪种记忆基底（即记忆表示与存储所依托的底层介质）所提供的指导有限。我们提出了一套统一的 26 项性能与效率指标，其中包括归因于写入、读取和管理阶段的辅助 LLM 成本，并在仅改变记忆基底的受控测试框架中，将其同样应用于 11 种记忆方法。这些方法涵盖稠密与稀疏索引、文本记录、结构化存储、分层存储、基于精炼的记忆、参数化更新以及兼容激活的上下文机制，我们使用三个骨干模型在四个基准套件上对其进行评估，这些套件涵盖以用户为中心的问答和以智能体为中心的决策。结果表明，没有单一基底能够始终占据主导：广泛检索有利于长上下文事实问答，而过度的检索可能因将注意力从对行动至关重要的上下文上转移开而损害序贯决策。可扩展性引入了另一个路由维度，因为在中等历史长度下表现良好的基底在更长时程下可能变得昂贵或脆弱。这些随机制而反转的现象使基底选择成为一个设计维度。按可观测的运行机制选择基底，在我们的基准上优于最佳固定基底，而查询级路由则使大部分 oracle 余量仍未被利用。这些发现为设计高效、可靠且机制感知的 LLM 智能体长期记忆提供了实证指导。
| 评论： | 已被 NeurIPS 2026 的 Evaluations and Datasets Track 接收 |
| 主题： | 计算与语言（cs.CL） |
| 引用格式： | arXiv:2608.15008 [cs.CL] |
| （或 arXiv:2608.15008v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.15008 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Wei-Chieh Huang [查看邮箱]
[v1]
2026年8月15日星期六 03:29:48 UTC（2,271 KB）
[v2]
2026年11月4日星期三 09:48:33 UTC（2,479 KB）
来源：arXiv cs.CL · arxiv.org