arXiv cs.AI· Stavros Damianakis, Konstantinos Psounis·· 10 小时前AI 评分40
AutoPI:面向 LLM 智能体提示注入的分类引导自适应红队测试
AutoPI: Taxonomy-Guided Adaptive Red Teaming for Prompt Injection in LLM Agents
AI 导读
AutoPI 是面向 LLM 智能体提示注入的自适应红队测试方法,基于提示注入技术分类体系 PIAtlas 引导搜索并衡量覆盖度,而非只追求攻击成功率(ASR)。
正文 · AI 翻译
摘要:提示注入是 LLM 智能体尚未解决的主要安全风险,社区现已达成共识:鲁棒性必须针对自适应攻击者来衡量,而不是针对固定的基准注入。现有的自适应红队工具很多,且大多以最大化攻击成功率(ASR)为目标。然而 ASR 只统计目标被攻破的频率,而不统计攻破方式的多样性。红队工具可以通过复用少数有效的技术来获得高 ASR,而其他技术则未被测试,也不会出现在用于加固模型的攻击中。我们提出 AutoPI,一种自适应红队工具,旨在发现多种不同的攻破目标的方式,而不仅仅是频繁攻破目标。AutoPI 使用 PIAtlas(一种提示注入技术分类体系)来指导搜索并衡量覆盖度。对于每个场景,攻击者 LLM 会为分类体系中的每个子技术编写注入,然后利用 LLM 评判器的反馈对失败的注入进行改进。该方法为黑盒且无需训练,可替代现有基准中的固定攻击模板接入其中,并随着分类体系的演进而保持更新。我们在 AgentDojo 和 IPI Arena 上针对开放权重和专有目标模型评估 AutoPI。除 ASR 外,我们还报告技术覆盖度,即分类体系中的类别、技术和子技术中至少产生一次成功注入的比例。在 AgentDojo 上,AutoPI 针对 Qwen3.6-35B 在分类体系全部六个类别中均找到了成功注入,并覆盖了其 90% 以上的技术。针对我们评估中最鲁棒的目标 Claude Haiku 5.5,与近期最先进的自适应红队工具相比,AutoPI 的 ASR 高出 20% 至 50%,类别级覆盖度高出 25% 至 400%,且无需训练。我们发布代码和生成的攻击,以支持可复现、覆盖度感知的评估。
| 评论: | 18 页,8 幅图,5 张表。项目页面见 此 https URL,代码见 此 https URL |
| 主题: | 密码学与安全(cs.CR);人工智能(cs.AI);机器学习(cs.LG) |
| 引用为: | arXiv:2611.24313 [cs.CR] |
| (或 arXiv:2611.24313v1 [cs.CR] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.24313 arXiv 颁发的 DOI 通过 DataCite(待注册) |
提交历史
来自:Stavros Damianakis [查看邮箱]
[v1]
2026 年 11 月 18 日周三 12:20:58 UTC(97 KB)
来源:arXiv cs.AI · arxiv.org