arXiv cs.CL· Ehsan Saleh, Roozbeh Nahavandi, Sama Salarian, Raef Bassily, Andrew Perrault·· 12 小时前AI 评分47
AfterDeleteBench：审计 LLM 智能体删除后信息残留
AfterDeleteBench: Auditing Post-Deletion Information Persistence in LLM Agents
AI 导读
研究者提出 AfterDeleteBench，用于行为级审计固定权重 LLM 智能体在记忆删除后的信息残留：Qwen2.5-7B-Instruct 在单次查询下约三分之二的案例可恢复已删除秘密，而从未接触该秘密的对照组恢复率为零。
正文 · AI 翻译
摘要：许多 LLM 智能体维护外部持久记忆，并从过去的交互中推导出额外状态，例如摘要。因此，删除原始记忆记录未必会移除其后代所携带的信息。我们提出 AfterDeleteBench，一种针对固定权重 LLM 智能体中此类失效模式的受控行为审计。对于每个合成秘密，我们将一个先暴露后删除的智能体与一个在其他方面匹配、但从未接触过该秘密的智能体进行比较，从而可将删除后的恢复归因于最初的暴露。在我们的主要设置中，单次查询即可从 Qwen2.5-7B-Instruct 中恢复被删除的秘密，成功率约为三分之二，而匹配的从未暴露对照组恢复率为零。关键在于，恢复并不需要存在逐字副本：当完整秘密字符串缺失、只有分别存储的组成部分依据公开组合规则保留时，在 Qwen、Mistral 和 Phi-3 上精确重建的成功率为 62-99%。我们还表明，响应接口是测量系统的一部分：当请求的格式与解析器不一致时，包含目标的回复可能被评分为失败。最后，我们将重建与写回及新会话召回区分开来。在测试的正基线设置中，来源感知闭包消除了观察到的恢复，而精确字面写入过滤器阻止了重新插入，但无法抹除已经存在的信息。总之，这些结果表明，源删除应在智能体及其记忆系统层面进行行为评估，而不仅仅是作为存储操作来评估。
| 评论： | 25 页，7 幅图，12 张表 |
| 主题： | 密码学与安全（cs.CR）；计算与语言（cs.CL）；机器学习（cs.LG） |
| ACM 分类： | I.2.7; K.4.1; D.4.6 |
| 引用为： | arXiv:2610.31366 [cs.CR] |
| （或本版本使用 arXiv:2610.31366v1 [cs.CR]） | |
| https://doi.org/10.48550/arXiv.2610.31366 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ehsan Saleh [查看邮箱]
[v1]
2026 年 10 月 22 日星期四 14:41:36 UTC（1,153 KB）
来源：arXiv cs.CL · arxiv.org