arXiv cs.CL· Zedong Peng·· 12 小时前AI 评分48
MemoryTax:智能体记忆的苦涩教训
MemoryTax: The Bitter Lesson of Agent Memory
AI 导读
一项实证研究在 LoCoMo 单段对话(419 轮、152 个问题)上对比 full context、BM25、Mem0、Zep 四种记忆方法与 Pi、Codex、Claude Code 三种编码智能体,分别搭配 GPT-4o-mini、GPT-6 Luna 和 Claude Opus 5.5。
正文 · AI 翻译
摘要:Mem0 和 Zep 等智能体记忆系统会在任何问题到来之前就决定保留什么;编码智能体则保留原始历史记录,让模型用自己的工具去检索。我们想探究:当模型强大到足以自行检索时,精心设计的记忆是否仍有帮助。在一段 LoCoMo 对话(419 轮、152 个问题)上,我们运行了四种记忆方法(完整上下文、BM25、Mem0、Zep)和三种编码智能体(Pi、Codex、Claude Code),每种都分别搭配 GPT-4o-mini、GPT-6 Luna 和 Claude Opus 5.5,并记录每次运行的成本。这是一项简短的实证研究,只有一段对话,每个单元格只运行一次。智能体记忆是对弱模型的一种昂贵补丁:Mem0 只有在搭配 GPT-4o-mini 时才优于完整上下文,而且仅其构建成本就超过一次完整的完整上下文运行。智能体记忆还存在上限,由写入它的模型决定:更强的读取者无法找回较弱写入者遗漏的内容。使用 Claude Opus 5.5 时,Pi 位居成本-准确率前沿,以不到完整上下文一半的成本取得 99% 的得分;它唯一的一次失误是答案键有误。这一领先优势部分来自只有智能体能读取的照片说明:在证据不含照片的 88 个问题上,Pi 与完整上下文只相差一个答案。
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI) |
| 引用为: | arXiv:2610.29823 [cs.CL] |
| (或 arXiv:2610.29823v1 [cs.CL] 查看此版本) | |
| https://doi.org/10.48550/arXiv.2610.29823 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Zedong Peng [查看邮箱]
[v1]
2026 年 10 月 21 日星期三 14:46:27 UTC(854 KB)
来源:arXiv cs.CL · arxiv.org