arXiv cs.AI· Cheng Zhang, Xuanning Cao, Zhicheng Zheng, Hui Xiong·· 2 天前AI 评分31
MemCut：LLM 智能体长期记忆中的每个秘密都会留下痕迹
MemCut: Every Secret Leaves a Trail in the Long-Term Memory of LLM Agents
AI 导读
研究者提出 MemCut，一个针对 LLM 智能体用户请求遗忘能力的系统性基准，包含 456 个手工设计的秘密及其完整标注的证据链，用于测试删除后的信息恢复。基准定义原生恢复与残差恢复两项指标，并在五种记忆设计和四种 LLM 上建立三个参考删除基线。结果显示，LLM 引导删除二十个检索候选中的额外十轮对话后，仍残留 39-76% 的恢复率，候选覆盖不足是现有基线的瓶颈。
正文 · AI 翻译
摘要：长期记忆已成为大型语言模型（LLM）智能体的关键组成部分，大多数研究聚焦于准确高效地检索相关信息。然而，一个可靠的记忆系统还必须能够应请求遗忘敏感用户数据。为评估这一能力，我们提出了 MemCut，一个针对用户请求遗忘的系统性基准。其长程对话中的 456 个手工设计的秘密均带有完整标注的证据链，用于测试删除后的恢复情况，包括那些从未直接提及秘密的消息。我们提出了两种恢复指标。原生恢复通过系统的检索来衡量读取器的成功率，而残留恢复则在直接给定可追溯到标注披露或证据的幸存对象时，衡量同一读取器的成功率。我们建立了三个参考删除基线，以测试现有检索器和写入模型在五种记忆设计和四种 LLM 上对遗忘的支持程度。移除披露内容对原生恢复的降低远大于对残留恢复的降低。由 LLM 引导从二十个检索候选中额外删除十个轮次后，仍残留 39-76% 的恢复率。子集扫描（144 个事实、三个系统、两个模型）表明，在固定预算下扩大候选池比删除所有原始候选更能降低残留恢复。这些扫描将候选覆盖确定为参考基线中的瓶颈。
| 评论： | 17 页，4 幅图，13 张表，包括附录 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.21405 [cs.AI] |
| （或 arXiv:2610.21405v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21405 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Zhicheng Zheng [查看电子邮件]
[v1]
2026年10月15日星期四 07:23:03 UTC（1,988 KB）
来源：arXiv cs.AI · arxiv.org