arXiv cs.AI· Zhiyue Xu, Xukai Wang, Zhiyuan Huang, Mingjie Zhan, Jian Zhao, Xu-Yao Zhang·· 11 小时前AI 评分58
CarryoverBench：评估 LLM 智能体跨会话残留攻击的基准
After the Attacker Leaves: Benchmarking Carryover Attacks on LLM Agents
AI 导读
作者提出 CarryoverBench，用于评测 LLM 智能体在攻击者离开后仍会复发的间接提示注入，即 carryover attacks。该基准包含 12 个个人助理场景和 101 个攻击任务，覆盖 Instant、Autonomous、Latent 三种触发通道，并用规则验证器分别给植入与触发打分。
正文 · AI 翻译
摘要：现代 LLM 智能体通过两种渠道在会话之间持久保存状态：长期存活的记忆文件被静默地前置到系统提示中，以及定时任务在无用户输入的情况下唤醒智能体。提交到任一渠道的一次性间接提示注入，可以在攻击者离开很久之后跨会话再次触发，我们将此类威胁称为遗留攻击。现有的提示注入基准仅在首次观察到恶意内容的会话中评估攻击，因而未能衡量控制植入载荷何时以及多频繁地再次触发的关卡。我们提出 CarryoverBench：包含 12 个个人助理场景和 101 个攻击任务，覆盖三种触发渠道：即时型，即同一轮次内的 IPI；自主型，即心跳调度触发；潜伏型，即记忆重新浮现。基于规则的验证器将植入与触发作为独立阶段进行评分。在五个前沿模型上，植入的载荷在五轮中再次触发且无可测量的衰减；在成功植入的条件下，触发阶段往往几乎不提供额外防护。将潜伏渠道移植到第二个运行时 Hermes 后，该效应有所减弱但并未消除，这表明遗留攻击的防御除了提示层面的干预外，还需要运行时层面的控制。
| 评论： | 已被 EMNLP 2026 主会议接收 |
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.28425 [cs.CR] |
| （或 arXiv:2610.28425v1 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28425 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhiyue Xu [查看邮箱]
[v1]
2026年10月20日星期二 15:55:05 UTC（1,187 KB）
来源：arXiv cs.AI · arxiv.org