arXiv cs.CL· Xiaoxue Yang, Bozhidar Stevanoski, Matthieu Meeus, Yves-Alexandre de Montjoye·· 6 天前AI 评分54
论文提出提示注入防御的发布前审计框架，攻击成功率最高升至 96%
Auditing Prompt Injection Defenses Before They Reach Users: What Strong Adversaries Reveal
AI 导读
arXiv 论文提出一套提示注入防御的发布前审计框架，利用微调过程中的中间检查点作为优化型攻击的起点，无需防御方自行发明新的 SOTA 攻击。作者用 GCG 和 BEAST 等优化型攻击实例化该框架，将针对当前最先进防御的攻击成功率从接近零提升到最高 96%，暴露出此前评测遗漏的弱点。
正文 · AI 翻译
摘要：大型语言模型越来越多地部署在处理敏感个人数据并与不受信任的外部内容交互的面向用户产品中。这使其成为提示注入攻击的主要目标，攻击者会在这些内容中注入恶意指令以劫持模型。人们提出了基于微调的防御措施，通过训练模型遵循良性用户指令并忽略注入的指令来缓解这些攻击。由于缺乏形式化保证，这些防御措施只能针对当时最有效的现实攻击进行经验性评估，通常报告接近零的攻击成功率——这给开发者以及依赖他们的用户带来了虚假的安全感，并留下了未来更强大的攻击可能绕过这些防御并在广泛部署的系统中造成严重后果的可能性。在本文中，我们认为开发者应在发布前对防御措施进行压力测试，并引入了一个审计框架，该框架无需防御者发明下一个最先进的攻击即可做到这一点。我们的关键洞见是，微调过程本身会产生有用的产物：作为基于优化的攻击的垫脚石的中间检查点。尽管真实攻击者无法获得这些产物，但我们表明它们所暴露的漏洞是真实存在的，并且可以被现实中的对手利用。通过使用 GCG 和 BEAST 等基于优化的攻击来实例化我们的框架，我们将针对最先进防御的攻击成功率从接近零提高到高达 96\%，揭示了先前评估所遗漏的弱点。我们的结果表明，当前的评估实践可能大幅高估鲁棒性，而在部署前在强对手下审计防御可以缩短反馈循环，并有助于防止攻击对用户造成现实世界的伤害。
| 评论： | 作为研讨会论文（口头报告）发表于 HAIPS@COLM 2026 |
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2505.15738 [cs.CR] |
| （或 arXiv:2505.15738v3 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2505.15738 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Xiaoxue Yang [查看电子邮件]
[v1]
2025年5月21日星期三 16:43:17 UTC（654 KB）
[v2]
2025年10月16日星期四 12:31:18 UTC（745 KB）
[v3]
2026年10月8日星期四 17:59:27 UTC（469 KB）
来源：arXiv cs.CL · arxiv.org