arXiv cs.CL· Zeyu Liu, Jian Zhong, Rongduo Han, Ziyang Wu, Shunye Tang, Chenghao He, Yaxuan Yang, Yihang Qiu, Ailing Wang, Xiao Liang, Guohuan Xie, Xiaokang Xue, Gongchen Li, Haining Zhang, Wei Wang·· 11 小时前AI 评分32
EvalMem：面向长期记忆系统的操作级诊断框架
EvalMem: An Operation-Level Diagnostic Framework for Long-Term Memory Systems
AI 导读
EvalMem 是一个操作级诊断框架，通过 Encoding、Retrieval、Generation 三个并行 Examiner 分别检查目标事实是否被存储、原生检索器能否返回可用证据、模型能否基于 oracle 证据作答，输出细粒度多标签缺陷码。
正文 · AI 翻译
作者：Zeyu Liu、Jian Zhong、Rongduo Han、Ziyang Wu、Shunye Tang、Chenghao He、Yaxuan Yang、Yihang Qiu、Ailing Wang、Xiao Liang、Guohuan Xie、Xiaokang Xue、Gongchen Li、Haining Zhang、Wei Wang
摘要：与基于 LLM 的助手进行长程交互，需要能够保存并更新用户状态、偏好和交互历史的记忆系统。现有评估报告的是端到端问答准确率，无法判断错误究竟来自编码、检索还是生成。我们提出 EvalMem，这是一个操作级诊断框架，包含三个并行的 Examiner。对于每个查询，编码 Examiner 检查目标事实是否被存储，检索 Examiner 评估原生检索器是否返回可用证据，生成 Examiner 测试模型能否基于 oracle 证据作答。它们的输出构成细粒度的多标签缺陷代码。为改进存储级诊断，我们采用以召回优先为策略的 agentic RAG，同时使用查询和源证据进行搜索，使 LoCoMo 上现有证据的召回率从 70.2% 提升至 95.6%。在 LoCoMo、LongMemEval-S 和动态 DynaMem-Bench 上对七个记忆系统的评估表明，检索是最常被归因的失败层；在默认 LoCoMo 中，检索缺陷达到 22.1%，而编码和生成分别为 7.7% 和 6.5%。在这一诊断的指导下，MemWiki——一种基于各系统记忆导出构建的、便于搜索的辅助结构——在 LoCoMo 和 LongMemEval-S 上分别将平均准确率提升了 2.5 和 2.3 个百分点。
| 评论： | 已被 EMNLP 2026 Findings 接收 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2609.22231 [cs.CL] |
| （或 arXiv:2609.22231v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.22231 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jian Zhong [查看邮箱]
[v1]
2026年9月3日 星期四 04:20:45 UTC（1,574 KB）
[v2]
2026年11月2日 星期一 09:37:40 UTC（1,575 KB）
来源：arXiv cs.CL · arxiv.org