arXiv·· 15 天前AI 评分31
视觉语言模型为何"自欺"：Qwen2.5-VL-7B 的训练/推理鸿沟机制解析
Corrupted but Correct: Why Vision-Language Models Lie to Themselves Internally
AI 导读
针对 Qwen2.5-VL-7B-Instruct 的研究发现，定向对抗扰动可将固定目标描述的 teacher-forcing 训练损失压至接近零，但模型自由生成时仍输出原本正确的描述，作者称之为训练/推理鸿沟。研究在 200 张 COCO 留出图像上用两阶段 PGD 攻击给出了机制性解释，并指出图像级像素统计（含重新实现的基于纹理的可攻击性度量）无法解释这一现象。
来源：arXiv · arxiv.org