arXiv cs.AI· Shunyuan Bai, Yuchen Ren, Le Yang, Chenhao Lin, Chao Shen, Zhengyu Zhao·· 3 天前AI 评分27
ProAda：面向视觉语言模型的提示词自适应对抗图像
Answer It or Not? Towards Prompt-Adapted Adversarial Images on Vision Language Models
AI 导读
针对现有视觉语言模型对抗图像"提示词无关"、会无差别拒绝所有提问的问题，研究者提出 ProAda 对抗图像，通过迭代更新文本提示词并配合分类器判断其危害性，以更精准地优化对抗方向。在视觉隐私相关数据集上，ProAda 能拒绝超过 90% 的有害提示词，同时放行超过 90% 的合法提示词，整体表现优于现有提示词无关方法，并具备有竞争力的跨模型迁移性和更强的抗反制鲁棒性。
正文 · AI 翻译
摘要：随着语言建模的进步，对抗图像的研究近来已从图像分类器转向视觉语言模型（VLM）。尽管 VLM 具有全新的、由文本提示驱动的特性，我们发现现有的 VLM 对抗样本在很大程度上忽略了文本提示的动态性。在典型用例中，对抗图像可以通过拒绝 VLM 回答有关图像的问题来保护视觉隐私。然而，现有保护措施与提示无关，即不加区分地拒绝任何问题，包括那些可能合法使用图像的问题。为解决这一局限，我们提出提示自适应（ProAda）对抗图像，其经过优化以在拒绝有害提示与正确响应合法提示之间取得平衡。具体而言，为实现更准确的对抗方向，文本提示也会通过一个简单分类器迭代更新，以判断提示的有害性是否仍然存在。在视觉隐私相关数据集上的大量实验验证，ProAda 可以拒绝超过 90% 的有害提示，同时允许超过 90% 的合法提示，与现有与提示无关的 VLM 对抗样本相比展现出更优的整体性能。此外，我们的 ProAda 实现了具有竞争力的整体跨模型迁移性，并提升了对反制措施的鲁棒性。
| Comments： | 20 页，7 幅图 |
| Subjects： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.16622 [cs.CV] |
| （或 arXiv:2610.16622v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16622 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Shunyuan Bai [查看电子邮件]
[v1]
2026 年 10 月 12 日星期一 11:38:30 UTC（4,988 KB）
来源：arXiv cs.AI · arxiv.org