Amazon 论文提出 FEB-30 基准：仅靠 QA 分数无法评估智能体记忆系统
Amazon 论文提出 FEB-30 基准，用 30 条脚本化事实轨迹生成 147 篇文档，在每步已知正确记忆状态的前提下，直接对比存储事实与 QA 分数。在类 Mem0 和 Hindsight 的记忆系统上，两种评估平均相差 16.8 分，21% 的事实轨迹通过/失败判定不一致；系统选对更新、强化等记忆操作的比例仅 20.1%，而 QA 评估无法发现这一点。
Rohan Paul· @rohanpaul_ai · X·2026-10-19 14:02· 1 小时前AI 评分50
AI 导读
Amazon 论文提出 FEB-30 基准，用 30 条脚本化事实轨迹生成 147 篇文档，在每步已知正确记忆状态的前提下直接对比存储事实与 QA 分数。在类 Mem0 和 Hindsight 的记忆系统上，两种评估平均相差 16.8 分，21% 的事实轨迹通过/失败判定不一致，系统选对更新、强化等记忆操作的比例仅 20.1%，而 QA 评估无法发现这一点。
正文 · 原文
Amazon 的新论文表明，部署 agent 记忆的团队应当检查实际存储了什么，因为仅凭 QA 分数无法揭示是哪个流水线阶段出了问题。
Agent 记忆基准评测的是 agent 的回答，这会把记忆与检索、答案撰写混在一起。强大的 LLM 可以掩盖损坏的记忆存储，而一次检索失误也可能让正确的记忆显得糟糕。
他们构建了 FEB-30，将 30 条脚本化事实历史转化为 147 篇文档，因此每篇文档之后的正确记忆状态都是已知的。在类似 Mem0 和 Hindsight 构建的记忆系统上，他们将存储的事实与该真值以及 QA 分数进行了对比。
两种分数平均相差 16.8 分，并且在 21% 的事实历史上，通过/失败的判定不一致。系统选对记忆操作（如更新或强化）的比例仅为 20.1%，而 QA 从未显示出这一点。
如果你在构建 agent 记忆，请在每次更新后直接测试存储的事实，同时结合端到端 QA。
来源：Rohan Paul · x.com
来源：RadarAI · aihot.news