arXiv cs.AI· Pritom Bhowmik·· 11 小时前AI 评分36
LLM 智能体记忆投毒防御的代价：良性场景下的效用与 Token 开销
The Price of Safety: Benign-Case Utility and Token Overhead of Memory-Poisoning Defenses in LLM Agents
AI 导读
研究在无攻击的良性场景下测量 LLM 智能体记忆投毒防御的成本：在 LoCoMo 一半数据上测试四种防御，清洗与来源校验从未触发，基于 LLM 的异常检测仅拦截 2250 轮中的 9 轮（0.4%），读取时重排器丢弃 2.2% 记忆、使 14.9% 的问题至少缺失一条记忆。
正文 · AI 翻译
摘要：针对 LLM 智能体的记忆投毒防御通常以阻止攻击的效果来评判，但智能体所见的流量几乎全是良性流量。我们测量了这些防御在无攻击存在时的代价。我们的测试框架固定骨干模型、记忆后端、检索、回答提示和评判器，只改变防御措施。两种基于 LLM 的防御都运行在智能体自身的骨干模型上，并通过完整性检查验证每次运行。我们在 LoCoMo 的一半数据上测试了四种防御：五段长对话（每次运行 750 轮对话和 255 个问题），每种条件运行三次。净化与来源检查从未触发。基于 LLM 的异常检测拦截了 2,250 轮中的 9 轮（0.4%）。读取时重排序器丢弃了其判定记忆的 2.2%，使至少 14.9% 的问题缺失至少一条记忆。盲审发现，在抽样的 50 次丢弃中，只有 2 次有基于内容的正当理由。没有防御显示出可检测的准确率代价，95% 区间为 $\pm$2.4 至 $\pm$4.6 个百分点；重排序器使准确率变化 +0.6 个百分点（95% CI [-2.6, +3.8]）。异常检测和叠加条件提升了 4.7 个百分点，但被拦截的一轮会改变其后提取的记忆，因此我们不将此视为收益。Token 开销为：净化和来源检查 0%，异常检测 1.5%，重排序器 3.0%，四者全部叠加为 4.5%。本研究的早期版本在与基线不同的模型上运行了重排序器条件。在同一模型上的基线显示，模型切换产生了我们当时报告的 4.4 个百分点准确率代价中的 2.9 个百分点。攻击成功率无法揭示这些，因此我们同时报告良性代价。我们发布测试框架、标签和每次运行的输出。
| 评论： | 16 页，4 幅图，5 张表。v3：修正了 v2 中的模型不匹配问题；所有 LLM 防御现在都运行在智能体的骨干模型上；结果已更新 |
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.22818 [cs.CR] |
| （或 arXiv:2609.22818v3 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.22818 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Pritom Bhowmik [查看邮箱]
[v1]
2026 年 9 月 19 日星期六 06:39:21 UTC（261 KB）
[v2]
2026 年 10 月 22 日星期四 08:33:17 UTC（40 KB）
[v3]
2026 年 11 月 4 日星期三 20:05:32 UTC（74 KB）
来源：arXiv cs.AI · arxiv.org