arXiv cs.AI· Oleeviya Babu Poikarayil, Tony Basil Babu, Abdulrahman Nahhas, Het Darshan Mehta, Jawid Ahmad Baktash, Ernesto William De Luca, Klaus Turowski·· 11 小时前AI 评分38
研究揭示：Agent 记忆检索到正确事实仍不够，过时陈述会显著拉低准确率
When Retrieval Is Not Enough: Obsolete Facts in Agent Memory
AI 导读
在 MemoryAgentBench 的 FactConsolidation 任务上，Qwen2.5-7B-Instruct 的 BM25 检索证据预算从 64 tokens 增至 512 tokens 时准确率反从 45% 降至 32%，尽管每次检索集都含最新陈述。
正文 · AI 翻译
摘要：记忆智能体基准测试通常将检索与答案生成合并为一个分数，导致难以判断失败是源于遗漏了更新，还是源于未能利用已检索到的更新。我们在 MemoryAgentBench 的单跳 FactConsolidation 任务上考察了这一区别。在 6K 历史记录的 BM25 上使用 Qwen2.5-7B-Instruct 时，当检索证据预算从 64 个 token 增加到 512 个 token，准确率从 45% 降至 32%，尽管借助标准答案的事后审计发现每个检索集中都包含最新陈述。大多数错误出现在同时包含过时陈述版本的问题上。在固定提示词和相同的四陈述证据规模下，将一条无关陈述替换为过时的竞争陈述，会使 Qwen2.5 的准确率从 100% 降至 44.6%，使 Qwen3-14B 的准确率从 100% 降至 87.8%，且全部 50 个有害的配对翻转均被归类为过时。32K 历史记录的复现同样表明 BM25-64 优于 BM25-512（69% 对 58%）。这些结果表明，仅检索到正确事实是不够的。一条过时的竞争陈述可能比同等规模的无关证据更有害。
| 评论： | 已被 NeurIPS 2026 面向 AI 系统的个性化、对齐、长期记忆研讨会（PALM）接收。共 23 页，包括补充材料 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.36308 [cs.AI] |
| （或使用 arXiv:2610.36308v1 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.36308 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jawid Ahmad Baktash [查看电子邮件]
[v1]
2026 年 10 月 26 日星期一 21:30:26 UTC（136 KB）
来源：arXiv cs.AI · arxiv.org