arXiv cs.CL· Utkarsh Kanwat·· 11 小时前AI 评分58
研究揭示可让 LLM 安全护栏评判错误文本的 target rebinding 攻击
Fooling LLM Safety Guards into Judging the Wrong Text
AI 导读
论文提出 target rebinding 攻击：在内容后追加伪造查询与无害诱饵，使安全护栏转而评判最后一个完整任务，从而放行有害请求。在预注册测试中，该手法让 Shieldstral-1.0-3B 标记的全部 75 条 AdvBench 请求通过；在 GuardRebind 基准上，五款护栏各自都有一种攻击家族能放行至少 93% 的被标记条目。
正文 · AI 翻译
摘要：安全防护机制会在 LLM 应用对内容采取行动之前检查内容，而大多数防护机制会把这些内容粘贴进纯文本提示词中。模仿该提示词的内容可以追加第二个任务，防护机制转而回答那一个任务。我们称这种现象为目标重绑定。我们的解释是，防护机制会对其输入中最后一个完整任务进行评分，此处是一个无害的诱饵，因此有害请求原样通过。在一项预注册测试中，追加的伪造查询和诱饵清除了 Shieldstral-1.0-3B 标记出的全部 75 个留出 AdvBench 请求。防护机制并未被说服：一条忽略上方文本的指令未能清除其中任何一个请求，而在后续运行中，有害诱饵阻止了该攻击。在我们的 GuardRebind 基准上，五个防护机制各自都有一个按防护机制选定的攻击家族，能清除其至少 93% 的被标记项。重绑定在 Shieldstral 和 gpt-oss-safeguard 上最能解释这一现象；在 ShieldGemma 和 Llama Guard 3 上，通用规避和尾随文本分别起了部分作用，而 Qwen3Guard 主要败于对其整个任务的伪造。训练防护机制使其对内容的评分不低于其最有害部分的评分，可将攻击家族、诱饵和伪造查询（均未参与训练）上的攻击成功率从 75% 降至 0.8-1.6%。所有这些攻击都在请求之后追加伪造结构，而我们在第一轮测试运行之后才加入留出诱饵评估。干净 AUROC 最多下降 0.01，但我们的非劣效性检验结果不确定。评分引导搜索仍能在 50 个条目中的 47 个上击败这一训练后的防护机制，通常是通过将伪造结构置于请求之前。在搜索获胜的约一半条目上，同一搜索还能找到不含伪造结构、却能清除该防护机制的良性文本。
| 评论： | 21 页（正文 13 页），2 幅图，8 张表。代码：此 https URL；模型：此 https URL |
| 主题： | 密码学与安全（cs.CR）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.31695 [cs.CR] |
| （或 arXiv:2610.31695v1 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31695 arXiv 颁发的 DOI（通过 DataCite） |
提交历史
来自：Utkarsh Kanwat [查看电子邮件]
[v1]
2026 年 10 月 20 日星期二 22:00:29 UTC（50 KB）
来源：arXiv cs.CL · arxiv.org