arXiv cs.AI· Runze Zhao, Dongruo Zhou, Sumit Kumar Jha, Nathaniel D. Bastian, Ankit Shah·· 1 天前AI 评分34
接受变更、拒绝攻击：LLM 智能体的鲁棒记忆管理
Accept Changes, Reject Attacks: Robust Memory Management for LLM Agents
AI 导读
针对 LLM 智能体记忆管理中的过时记忆与记忆投毒两类失效，研究提出以证据条件准确率（ECA）衡量鲁棒性，要求智能体选用的记录包含答案所需的全部证据、已更新且无攻击。现有记忆系统与防御在测试集上并不优于未调优的记忆管理器；一种基于单段对话合成含变更与攻击片段的一次性微调方法，在三个骨干模型上提升各类别得分，整体 ECA 提升逾一倍，但鲁棒性仍不完整。
正文 · AI 翻译
摘要：由于大语言模型（LLM）智能体依赖长期记忆，它们现在存储的内容会塑造它们之后的行为。记忆管理器决定每个输入如何改变这一记忆，以及智能体依据哪些记录行动。它可能以两种方式失效：保留一个此后已发生变化的事实（过时记忆），或存储一段被植入的文本或注入的指令（记忆投毒）。大多数先前工作将二者分开研究，但它们要求相反的写入决策，因此没有固定的写入规则能同时处理两者。因此，我们将记忆鲁棒性形式化为在不使其他输入表现变差的前提下同时处理两者。由于准确率只检查答案，我们用证据条件准确率（ECA）来衡量鲁棒性，它还会检查管理器所选择的记录是否包含答案所需的全部证据，且这些证据已更新且不含攻击。然而，在我们的测试集上，现有的记忆系统和防御并不比未经调优的管理器更鲁棒。我们用一个简单的一次性配方提升了鲁棒性：围绕单次对话合成包含插入变化和攻击的片段，并据此微调管理器。在三个骨干模型上，它提升了我们测试集上每个类别的得分，并使未经调优的管理器的总体 ECA 提升了一倍以上，尽管鲁棒性仍不完整。
| 评论： | 24 页，9 幅图，6 张表 |
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.41056 [cs.CR] |
| （或 arXiv:2610.41056v1 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41056 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Runze Zhao [查看邮箱]
[v1]
2026 年 10 月 29 日星期四 22:54:17 UTC（193 KB）
来源：arXiv cs.AI · arxiv.org