arXiv cs.CL· Igor Shilov, Xiaoxue Yang, Alexander Panfilov, Evgenii Kortukov, Matthieu Meeus, Peter Romov, Wojciech Samek, Jonas Geiping, Yves-Alexandre de Montjoye·· 13 小时前AI 评分58
Heads of Security：学习式注意力门控提升提示词注入鲁棒性
Heads of Security: Learned Attention Gates Improve Prompt Injection Robustness
AI 导读
研究提出 Heads of Security（HoS），通过一小组可学习的逐头注意力门控强制指令与数据分离，在 Llama-3.3-70B-Instruct 和 GPT-OSS-20B 上评估。
正文 · AI 翻译
摘要：我们提出 Heads of Security（HoS），一种提示注入防御方法，通过一小组学习得到的逐头注意力门控来强制实现指令与数据的分离。HoS 学习每个注意力头应如何在可信与不可信 token 之间重新分配注意力，使模型能够对不可信内容进行推理，而不会遵循注入的指令。我们在 Llama-3.3-70B-Instruct 和 GPT-OSS-20B 上评估了 HoS。我们将其与 SecAlign++（一种最先进的基于微调的防御方法）以及 ASIDE（一种与我们类似、将指令与数据分离构建到模型架构中的防御方法）进行了比较。我们表明，HoS 对自适应攻击具有更强的鲁棒性，在标准效用基准上表现更好，并在标准智能体提示注入基准上达到顶尖性能。更具体地说，黑盒 RL-Hammer 攻击对 GPT-OSS-20B 达到 97% 的攻击成功率，对 SecAlign 达到 85%，但对 HoS 仅为 10%。Claudini 是一种最先进的白盒攻击，通过自动研究针对 HoS 进行了强化，其在 HoS 上达到与 GPT-OSS-20B 或 SecAlign 相同攻击成功率所需的 FLOPs 是后两者的 3 倍。HoS 在标准多项选择基准和提示设置中保持了基础模型的效用，而 SecAlign 和 ASIDE 在少样本设置下性能下降。在采用静态攻击的智能体基准上，HoS 和 SecAlign 表现相似，并且相比基础模型大幅改善了安全性与效用的权衡。ASIDE 在工具使用方面表现不佳，效用仅为 10%。这些结果表明，提示注入的鲁棒性可以通过有针对性的注意力干预来实现并提升。
| 学科： | 机器学习（cs.LG）；计算与语言（cs.CL）；密码学与安全（cs.CR） |
| 引用为： | arXiv:2610.37657 [cs.LG] |
| （或 arXiv:2610.37657v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37657 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Igor Shilov [查看邮箱]
[v1]
2026年10月27日星期二 17:58:52 UTC（392 KB）
来源：arXiv cs.CL · arxiv.org