跳到正文
arXiv cs.AI· Lipeng He, Yihan Wang, Jiawen Zhang, N. Asokan·· 10 小时前AI 评分34

PIPETTE:面向鲁棒 LLM 智能体的提示注入紫队测试框架

PIPETTE: Prompt Injection Purple-Teaming for Robust LLM Agents

AI 导读

PIPETTE 是一个统一的提示注入紫队测试框架,能将红队测试发现的攻击转化为防御方的鲁棒性提升。它采用基于字典学习的奖励机制,鼓励红队测试覆盖更广的攻击策略,并集成面向间接提示注入防御的 on-policy 对抗训练流程。在 AgentDojo 和 ASB 基准上,PIPETTE 训练的防御模型对静态攻击的攻击成功率接近零,并能抵御强自适应攻击,同时良性任务效用接近未防御基线。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:大型语言模型(LLM)智能体经常与不受信任的外部数据交互,使其暴露于间接提示注入(IPI)攻击之下,这类攻击会劫持智能体去执行攻击者选定的任务。为了大规模发现这些漏洞,自动化红队测试方法通常利用强化学习(RL)来生成具有高攻击成功率(ASR)的攻击。模型开发者利用内部红队测试中发现的攻击,在部署前通过对抗训练加固智能体,这种攻防协作过程在网络安全领域被称为紫队测试。然而,我们表明,在红队测试期间实现高 ASR 并不能保证后续对抗训练带来鲁棒性提升。具体而言,我们发现两种最先进的基于 RL 的红队测试方法 RL-Hammer 和 PISmith 存在模式崩溃问题,会反复发现相似的攻击策略,而这些额外的成功并不会为对抗训练带来额外的鲁棒性改进。为弥补这一差距,我们提出 PIPETTE,一个统一的提示注入紫队测试框架,能够有效地将红队测试的发现转化为防御方鲁棒性的提升。PIPETTE 采用基于字典学习的奖励,鼓励在红队测试期间更广泛地覆盖攻击策略。它还集成了专为 IPI 防御定制的同策略对抗训练流水线,使智能体在完成合法用户任务的同时能够抵御攻击。在智能体基准(AgentDojo 和 ASB)上的广泛评估表明,PIPETTE 产生的防御方在静态攻击上达到接近零的攻击成功率,并能抵御强大的自适应攻击,同时保持与未防御基线接近的良性任务效用。
评论: 18 页,6 幅图
主题: 密码学与安全(cs.CR);人工智能(cs.AI)
引用为: arXiv:2611.24362 [cs.CR]
  (或 arXiv:2611.24362v1 [cs.CR] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.24362

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Lipeng He [查看邮箱]
[v1] 2026 年 11 月 18 日星期三 12:56:06 UTC(659 KB)

来源:arXiv cs.AI · arxiv.org