arXiv cs.AI· Giulia Marchiori Pietrosanti, Giulio Rossolini, Giorgio Buttazzo·· 1 天前AI 评分26
对抗诱饵：在 ViT 中误导基于注意力的防御
Adversarial Decoys: Misdirecting Attention-Based Defenses in ViT
AI 导读
研究者提出“对抗诱饵”方法，通过优化独立图像块将注意力从真实对抗区域引向选定目标 token，从而绕过 ViT 的注意力排序防御。该方法将误分类与防御规避解耦，可集成到任意现有对抗补丁攻击中。在 ImageNet 上跨多种 ViT 架构与对抗补丁攻击的实验显示，诱饵能持续转移高注意力分数并保留大部分攻击效果，揭示仅用注意力作为对抗相关性指标的局限。
正文 · AI 翻译
摘要：视觉 Transformer（ViT）仍然容易受到局部对抗攻击，例如对抗补丁，而近期的测试时防御通过抑制注意力分数异常高的图像 token 来缓解此类攻击。这些防御利用了注意力与对抗有效性之间的强耦合关系：对抗 token 往往需要吸引大量注意力才能影响预测。我们引入了对抗诱饵，即经过优化以将注意力（以及相关防御）重定向到选定目标 token 的图像补丁。我们的方法并非联合优化误分类与防御规避，而是将这两个目标解耦：原始对抗区域诱导错误预测，而单独的诱饵则操纵防御所使用的注意力排序。逐层目标会提高目标 token 的注意力，并促使这些 token 排在竞争性非目标 token 之上。由于诱饵优化不依赖于特定的攻击形式，该方法可以轻松集成到任何现有的对抗补丁攻击中。在 ImageNet 上针对多种 ViT 架构和对抗补丁攻击的实验表明，诱饵能够持续将高注意力分数从真实对抗区域引开，同时保留大部分针对注意力排序防御的攻击有效性。这些结果揭示了仅将注意力用作对抗相关性指标的根本局限性。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2607.07922 [cs.CV] |
| （或使用 arXiv:2607.07922v2 [cs.CV] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2607.07922 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Giulia Marchiori Pietrosanti [查看电子邮件]
[v1]
2026年7月8日星期三 21:08:57 UTC（13,230 KB）
[v2]
2026年11月11日星期三 10:54:01 UTC（9,495 KB）
来源：arXiv cs.AI · arxiv.org