arXiv cs.CL· Sebastian-Antonio Toma, Jean de Kernier, Mike Ply, Oliviu Matei·· 2 天前AI 评分31
超越下游问答：重新思考如何评估 AI 智能体记忆
Beyond Downstream QA: Rethinking How We Evaluate Agent Memory
AI 导读
研究提出 FEB-30 基准，用 30 条事实演化轨迹（覆盖 6 个诊断类别、3 个难度等级）直接检验智能体记忆存储，而非以下游问答准确率作为代理。
正文 · AI 翻译
摘要：智能体记忆基准评估智能体的响应是否反映正确知识，以下游问答准确率作为记忆质量的代理指标。我们表明这种评估范式是不完整的：它将记忆正确性与检索和生成质量混为一谈，既会产生假阳性——正确的响应掩盖了损坏的记忆，也会产生假阴性——错误的响应将检索失败归咎于正确的记忆。我们提出 FEB-30，一个包含 30 条事实演化轨迹的基准，涵盖 6 个诊断类别和 3 个难度级别，通过范式反转构建：文档由已知的事实轨迹生成，无需人工标注即可产生确定性的真实标签。每条轨迹定义了事实应在多作者产物（文档、电子邮件、对话）中如何演化，从而能够在每次摄入步骤后直接检查记忆存储。将 FEB-30 应用于一个具有代表性的记忆系统，我们证明内在评估与外在评估平均相差 16 个百分点，其中 44% 的轨迹超过了有意义的差异阈值。诊断分解揭示，该系统正确分类记忆操作（创建、更新、强化、取代）的比例仅为 20%，这一失败在外在评估中完全不可见，且失败模式因类别和难度而系统性不同。我们发布该基准、文档生成流水线和评分框架，以支持智能体记忆系统的可复现评估。
| 评论： | 14 页，1 张图，代码和数据：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.22209 [cs.CL] |
| （或 arXiv:2610.22209v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22209 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Sebastian-Antonio Toma [查看电子邮件]
[v1]
2026 年 10 月 15 日星期四 16:58:12 UTC（38 KB）
来源：arXiv cs.CL · arxiv.org