RadarAI· X：Rohan Paul (@rohanpaul_ai)·· 4 小时前AI 评分60
清华联合新浪微博提出 BEMULA 基准，评测 LLM Agent 记忆遗忘能力
清华 BEMULA 基准揭示 LLM Agent 几乎无法按要求彻底遗忘记忆
AI 导读
清华大学联合新浪微博提出 BEMULA 基准，用于评测 LLM Agent 的记忆遗忘能力，包含 50 段多轮对话、135 个遗忘请求和 1742 个测试问题，覆盖 6 种记忆系统和 3 个骨干模型。
正文 · AI 翻译
Rohan Paul· @rohanpaul_ai · X·2026-11-04 18:37· 1 小时前AI 评分64
AI 导读
清华大学联合新浪微博提出 BEMULA 基准，评测 LLM Agent 的记忆遗忘能力，包含 50 段多轮对话、135 个遗忘请求和 1742 个测试问题，覆盖 6 种记忆系统和 3 个骨干模型。
正文 · 原文
清华大学的一篇新论文发现，当人们要求具备长期记忆的 AI Agent 忘记某个个人细节时，这些助手几乎从不将其彻底清除，要么保留下来，要么删除过多。
具备长期记忆的 Agent 会存储个人细节，用户越来越多地要求它们删除家庭住址之类的内容。现有的记忆基准只测试事实的存储和回忆。
他们构建了 BEMULA，包含 50 段较长的合成对话和 135 个遗忘请求，每个请求都配有一份不含该请求的副本。探测检查该事实是否已消失、其他记忆是否保留，以及攻击是否仍能提取它。
在 6 种记忆系统和 3 个骨干模型中，没有任何受测方案能端到端通过超过 1.5% 的遗忘请求。在收到遗忘请求后，系统最多只能拦截 35.7% 的简单提取提示，例如角色扮演或是或否猜测。
如果你的 Agent 会记住用户，就应构建并测试一条真正的删除路径，因为一条确认消息并不意味着数据已经消失。
来源：Rohan Paul · x.com
来源：RadarAI · aihot.news