arXiv cs.AI· Bofan Xie, Chaokun Wang, Guanchen Ge, Songyao Wang, Fang Niu, Hang Zhang, Wei Wang·· 3 天前AI 评分41
Bemula：LLM 智能体记忆遗忘基准测试
Can Agents Forget When Asked? A Benchmark for Memory Unlearning in LLM Agents
AI 导读
研究者提出 Bemula，首个专门评测 LLM 智能体记忆遗忘（memory unlearning）的基准，包含 50 个多轮对话实例、6 类共 135 条遗忘请求和 1742 道测试题。
正文 · AI 翻译
摘要：长期记忆已成为大语言模型（LLM）智能体的核心组件。随着智能体在长期使用中积累个人信息，用户越来越多地要求它们删除敏感或过时的事实。记忆系统应当遵从此类请求：精确移除被要求删除的内容，并保持其余记忆完好无损。然而，现有的记忆基准仅评估记忆的写入、检索与组织，因此智能体能否按用户明确请求进行遗忘仍缺乏充分评估。为填补这一空白，我们提出了 Bemula，首个专门针对记忆遗忘的基准。它包含 50 个多轮会话对话实例、6 种类型的 135 条遗忘请求，以及 1,742 个测试问题。每个对话都有一个不含这些请求的对照版本，因此只有已存储目标信息的系统才能获得遗忘得分。在成对版本之间，五个测试套件分别衡量存储、所请求信息的移除、无关记忆的保留、相似事实的再学习，以及对提取攻击的抵抗能力。在 Bemula 上，我们评估了三种主干 LLM 下的六种主流记忆系统，并在其中两种上评估了全上下文 LLM。结果并不乐观。在所有被评估的系统与主干中，没有任何系统能端到端通过超过 1.5% 的遗忘请求，大多数系统则一条都通不过。这些系统要么使所请求的信息在简单攻击下仍可被提取，要么删除的内容远超所请求的范围。因此，记忆遗忘仍是智能体记忆设计中的一个开放挑战。我们在 此 https URL 发布了数据与代码。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.18052 [cs.AI] |
| （或 arXiv:2610.18052v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18052 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Bofan Xie [查看邮箱]
[v1]
2026年10月13日 星期二 09:41:12 UTC（1,321 KB）
来源：arXiv cs.AI · arxiv.org