arXiv cs.AI· Yubo Cui, Xianchao Guan, Zheng Zhang·· 10 小时前AI 评分25
TRAG：面向视觉语言模型零样本对抗鲁棒性的文本响应感知引导方法
Textual Response-Aware Guidance for Zero-Shot Adversarial Robustness of Vision-Language Models
AI 导读
研究者提出文本响应感知引导（TRAG），利用预训练文本编码器对输入嵌入局部变化的响应方向与幅度构建锚点级约束，并按预训练图文相关性聚合为图像自适应约束，以抑制视觉表征漂移。跨架构与任务实验显示，TRAG 在干净与鲁棒性能上均达到 SOTA，并有助于保持预训练图文关系。
正文 · AI 翻译
摘要：视觉语言模型（VLM）展现出强大的零样本泛化能力，但仍易受对抗攻击影响。现有的对抗微调方法通常借助预训练模型引导，在提升鲁棒性的同时保持图文对齐。我们对视觉表征漂移的分析揭示了两种代表性引导形式各自的互补性局限。匹配视觉特征对所有方向施加同等约束，覆盖范围广但缺乏语义侧重。匹配预测分布优先考虑语义相关方向，但受限于候选文本和预测概率。这些局限可能妨碍对预训练图文关系的保持，并降低零样本性能。为此，我们提出文本响应感知引导（TRAG），利用预训练文本编码器对输入嵌入局部变化的响应来约束视觉表征漂移。TRAG 根据语义锚点周围的响应方向和幅度构建锚点级约束，再利用预训练的图像—锚点相关性对其进行聚合，从而得到图像自适应约束。跨架构和任务的广泛实验表明，该方法在干净性能和鲁棒性能上均达到当前最优水平。进一步分析表明，TRAG 有助于保持预训练的图文关系。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG）；多媒体（cs.MM） |
| 引用为： | arXiv:2610.40309 [cs.CV] |
| （或 arXiv:2610.40309v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.40309 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yubo Cui [查看邮箱]
[v1]
2026年10月29日 星期四 15:48:43 UTC（459 KB）
[v2]
2026年11月9日 星期一 17:35:03 UTC（1,394 KB）
来源：arXiv cs.AI · arxiv.org