arXiv cs.AI· Tian Zhang, Yiwei Xu, Juan Wang, Keyan Guo, Xiaoyang Xu, Bowen Xiao, Quanlong Guan, Jinlin Fan, Jiawei Liu, Zhiquan Liu, Hongxin Hu·· 13 小时前AI 评分47
AgentSentry:通过时序因果诊断与上下文净化缓解 LLM 智能体的间接提示注入
AgentSentry: Mitigating Indirect Prompt Injection in LLM Agents via Temporal Causal Diagnostics and Context Purification
AI 导读
AgentSentry 是一种推理时防御方法,通过在工具返回边界做局部反事实重执行来判断待执行动作是否受注入内容影响,并对可疑内容净化后恢复执行。
正文 · AI 翻译
作者:Tian Zhang、Yiwei Xu、Juan Wang、Keyan Guo、Xiaoyang Xu、Bowen Xiao、Quanlong Guan、Jinlin Fan、Jiawei Liu、Zhiquan Liu、Hongxin Hu
摘要:工具增强的大语言模型(LLM)智能体将对话历史、工具输出和检索内容聚合为累积的运行时状态,以完成多步任务。这种执行模型使智能体暴露于间接提示注入(IPI)攻击之下,攻击者嵌入在外部工件中的指令会进入智能体状态,并在之后影响工具使用。多轮 IPI 尤其具有挑战性,因为注入的内容可以跨步骤持续存在,并且只有在与用户意图合并后才会触发未经授权的状态变更操作。这造成了一个来源归因问题:现有的推理时防御通常能够检测到可疑行为,但无法直接区分待执行的操作是由用户任务支持的,还是受到注入内容影响的。因此,它们只能诉诸保守的阻断、终止或宽泛过滤。我们提出 AgentSentry,一种推理时防御方法,通过在工具返回边界处进行边界局部反事实重执行,将时间因果诊断付诸实践。它在恢复的快照下替换中介,记录待执行提案是否存活,并聚合相邻边界上的用户视图分数和探测分数。当提案对中介敏感时,AgentSentry 会净化相关的中介内容,同时保留任务相关证据,并从净化后的状态恢复执行。我们在 AgentDojo 上对 AgentSentry 进行了评估,涵盖四个任务套件、三个 IPI 攻击家族和三个黑盒 LLM 骨干模型。在评估案例中,它未观察到任何成功的攻击(ASR = 0%),并实现了 76.10% 的平均攻击下效用(UA)。与最强的评估基线相比,它将平均 UA 提高了 1.84--7.60 个百分点,良性 FPR 为 2.06%--5.15%。我们进一步评估了长时程和自适应攻击、不完美净化、运行时开销以及一个 OpenClaw 案例研究。
| 评论: | 已被 Network and Distributed System Security (NDSS) Symposium 2027 接收。18 页,5 幅图,4 张表 |
| 主题: | 密码学与安全(cs.CR);人工智能(cs.AI) |
| ACM 分类: | D.4.6; K.6.5; I.2.7 |
| 引用为: | arXiv:2602.22724 [cs.CR] |
| (或本版本的 arXiv:2602.22724v2 [cs.CR]) | |
| https://doi.org/10.48550/arXiv.2602.22724 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Tian Zhang [查看电子邮件]
[v1]
2026 年 2 月 26 日星期四 07:59:10 UTC(602 KB)
[v2]
2026 年 10 月 27 日星期二 11:52:22 UTC(654 KB)
来源:arXiv cs.AI · arxiv.org