arXiv cs.AI· Arun Josephraj Arokiaraj, Chenyi Huang, Zekun Wu, Adriano Koshiyama·· 12 小时前AI 评分32
Qwen2.5-VL-7B 研究揭示视觉语言模型的“训练/推理鸿沟”机制
Corrupted but Correct: Why Vision-Language Models Lie to Themselves Internally
AI 导读
研究在 Qwen2.5-VL-7B-Instruct 上发现“训练/推理鸿沟”：对抗扰动可将固定目标描述的 teacher-forced 训练损失压至近零，模型自由生成却仍输出正确描述。
正文 · AI 翻译
摘要：针对性的对抗扰动可以将视觉语言模型（VLM）在固定目标描述上的教师强制训练损失降至接近零，然而同一模型在允许自由生成时，却会输出原始的正确描述，毫无目标描述的痕迹。我们将这种分离称为训练/推理差距，并在 Qwen2.5-VL-7B-Instruct 上，通过对 200 张留出的 COCO 图像进行受控的两阶段 PGD 攻击，给出了精确的机制性解释。首先，我们表明图像级像素统计量，包括从 CNN 鲁棒性文献中正确重新实现的、基于纹理的可攻击性度量，对于哪些图像会被破坏基本上没有预测能力（最佳预测器 r=-0.050，p=0.484；岭回归 R^2=0.069）。其次，使用 logit lens，我们将该差距定位到单个自回归步骤：在已生成正确首 token 的条件下，目标 token 的排名在每张图像和每种条件下都恰好固定为 152,064 个词表条目中的第 3,488 位，方差为零。第三，追踪全部 28 个 LLM 解码器层中的目标 token 排名可以发现，视觉编码器对每张图像表示的破坏程度相当，与最终结果无关，但语言模型解码器随后会进行差异化仲裁：对易感图像放大被破坏的信号，而对抵抗性图像则主动抑制该信号，使其低于干净图像的基线（p<0.001，秩二列相关 r=0.579）。对 merger 隐藏状态的线性探针以 AUC=0.858 区分这两种结果，不过我们指出了该估计中的循环性隐忧。这些结果共同表明，自回归 VLM 中的对抗鲁棒性在很大程度上是语言解码器先验的属性，而非视觉编码器的属性，这对已部署 VLM 系统的忠实性评估和防御应针对何处具有直接意义。
| 评论： | 已被 VLM4RWD Workshop（Grounded and Faithful Vision-Language Models for Real-World Deployment）接收，NeurIPS 2026。8 页，2 幅图，3 张表 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.03445 [cs.CV] |
| （或本版本使用 arXiv:2610.03445v2 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2610.03445 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Arun Josephraj Arokiaraj [查看邮箱]
[v1]
2026 年 10 月 2 日星期五 15:27:28 UTC（729 KB）
[v2]
2026 年 10 月 27 日星期二 17:55:45 UTC（729 KB）
来源：arXiv cs.AI · arxiv.org