arXiv 论文：朴素 RAW-RAG 在长对话记忆评测多数场景胜过复杂 Agentic Memory

meng shao· @shao__meng · X·2026-10-24 09:25· 1 小时前AI 评分65

AI 导读

arXiv 论文（2610.30755）显示，仅对原始对话历史做稠密检索加重排的 RAW-RAG，在 LoCoMo、LongMemEval、MEME、MemoryAgentBench 的 7 组基准×模型中有 6 组排名第一，比最强 agentic memory 系统高 0.13–5.53 分。

正文 · 原文

复杂 Agentic Memory 并非总是必要：朴素 RAW-RAG 在长对话记忆评测上更强

在 LoCoMo、LongMemEval、MEME、MemoryAgentBench 上，仅对原始对话历史做稠密检索 + 重排的 RAW-RAG，在 7 组「基准×模型」里有 6 组排名第一，比最强对比的 agentic memory 高 0.13–5.53 分；作者认为瓶颈主要是「证据是否齐全」，而不是复杂的抽取、变异与图结构。
https://arxiv.org/pdf/2610.30755

问题背景
长对话超出上下文窗口后，近年流行 agentic memory：抽取、摘要、UPDATE/DELETE、图/社区、可学习检索等。常见质疑是：原始历史 RAG 对付不了「事实被覆盖、删除、级联状态」；且已有论文报告 RAG 落后。作者追问：这些复杂度是否总是必要？

两个预实验（动摇「必须显式维护状态」）
1. Mem0 写操作审计：LoCoMo 上 UPDATE+DELETE 仅占写决策的 4.39%（有效变更约 1.90%）；LongMemEval 为 2.46% / 1.34%。关掉 UPDATE/DELETE、只保留 ADD/NONE，LoCoMo 准确率反而 67.36% → 69.42%。
2. MEME 相位可见 oracle：把该阶段原始证据按时间序给 reader（无检索误差），强模型（如 DeepSeek-V4-Flash）在 cascade / invalidation 上可达约 82% / 92%——说明有足够原文时，reader 往往能自己推出现态。

RAW-RAG 怎么做
· 不做 LLM 抽取/摘要/构图/变异。
· 对话序列化（时间戳、图片说明）→ 256 token 窗、32 overlap → 扁平向量索引。
· 查询：余弦取 top-128 → cross-encoder 重排取 top-15 → 交给 reader 做时序与状态推理。

RAW-RAG 主结果（相对对比系统，不含 Full-context）
· LoCoMo（GPT-4o-mini / 4.1-mini）：89.07 / 93.70，领先约 0.65–0.95
· LongMemEval（4.1-mini）：87.53，领先约 0.13（相对 Memora 87.40）
· MEME（4o-mini）：39.30，领先约 2.24
· MemoryAgentBench（4o-mini / DS-V4-Flash）：48.32 / 53.41，领先约 4.5–5.5
· 唯一落后：MEME + DeepSeek-V4-Flash：MemMachine 44.71 vs RAW-RAG 43.19

消融：去掉重排 −3.92；只回 1 条 −11.73；加原子事实抽取 / 摘要增强 / 图扩展都未能超过默认 RAW-RAG（48.32）。摄入成本也低：BEAM-1M 上远快于 MemOS、Mem0 等（可达数十倍差距）。

为何够用：三点发现
1. 覆盖率 > 利用率：系统间「证据是否够」差距远大于「有证据后答对率」；RAW-RAG 覆盖最高，可抵消略低的条件利用率。
2. 路径完整性：有用证据 = 答案值 + 时序/依赖路径；RAW-RAG 的 P(path|result) 最高约 62.34%。
3. 摄入时保真：即便给「完整变换后记忆库」的 oracle，仍难追上「原始证据」；丢掉或扭曲的原文，事后检索补不回来。

局限（作者自述）
仅离线公开对话基准；未覆盖交互、多模态、真实运维。原文存储与隐私/删除约束是现实代价。弱 reader 或需减少重复推理时，显式状态维护是否更有用，仍待验证。

引用elvis@omarsar0

RAG 回来了！这项工作表明，在大多数长期记忆基准上，对原始聊天历史做朴素 RAG 胜过复杂的 agentic memory 系统。（建议收藏）他们测试了 Raw-RAG，它只是对原始对话做稠密检索加重排，再交给 reader LLM。在 LoCoMo、LongMemEval、MEME 和 MemoryAgentBench 上，它在七组基准与模型设置中有六组排名第一，比最强的 agentic memory 系统高 0.13 到 5.53 分。在 BEAM-1M 上摄入耗时 0.3 小时，而 Mem0、MemOS 和 Memora 等系统需要 3.2 到 27 小时。为什么它能站得住？原始历史保留了问题所需的更多证据，包括答案背后的关系和依赖路径。把历史改写成记忆条目往往会丢掉这些重要片段。即使能完整访问变换后的记忆库，模型回答的准确率仍低于使用原始证据时。在给你的 agent 添加记忆层之前，至少先在自己的数据上跑一下这个基线。 https://arxiv.org/abs/2610.30755 Chat with Paper: https://academy.dair.ai/papers/is-complex-agentic-memory-always-needed-naive-rag-is-stronger-than-we-thought-2610.30755

在 X 查看被引用的帖子

来源：meng shao · x.com