arXiv cs.CL· Basavaraj R M, Harshal Chandel·· 23 小时前AI 评分42
视觉语言模型的“接地幻觉”:它们会像理想观察者一样权衡检索文本与图像吗?
The Illusion of Grounding: Do Vision-Language Models Weigh Retrieved Text and Images Like an Ideal Observer?
AI 导读
研究构建了 GIB-200K 数据集(20 万条图像-问题样本,源自 COCO 与 Visual Genome),用于测试检索增强视觉语言模型如何融合文本与图像证据。
正文 · AI 翻译
摘要:检索增强的视觉语言模型(VLM)从两种可能各自失效的证据来源作答:检索到的文本可能错误或含噪,图像可能退化或与文本相矛盾。我们提出 GIB-200K,包含由 COCO 和 Visual Genome 构建的 200,000 个图像-问题条目,每个条目扩展为受控的压力条件:硬负例检索噪声(1-20 篇文档)、视觉模糊(高斯模糊与运动模糊、低资源裁剪)以及与反事实翻转对构成的跨模态冲突。我们不仅衡量性能退化,还探究模型如何融合这两种模态。从理想贝叶斯线索组合出发,我们推导出一个可检验的预测,并据此给出知识惯性(Knowledge Inertia,文本相对于模型自身图像证据被过度加权)与感官俘获(Sensory Capture,相反情形)的形式化定义,并用经测量误差校正的回归估计权重,且验证了该回归对已知权重的还原能力。反事实翻转分解将模态偏差与概念先验分离,Grounding Illusion Score 衡量有多少干净准确率并未扎根于图像。我们在 2,000 个 GIB-200K 条目的一个冻结、固定种子的评测划分上评估了 4 个开放模型。所有模型在干净输入上都很准确(92.5%-94.2%),但对抗条件下的准确率降至 41.3%-59.9%。两个 LLaVA 模型对文本过度加权(知识惯性,w_T/w_I = 1.229 和 1.322),而 InternVL3 更偏向图像(w_T/w_I = 0.680);当文档说谎时,34.8% 至 71.4% 原本正确的干净答案被放弃。一种无需训练的一致性检查会比较有检索与无检索时的答案,在误导性文档下以覆盖率换取准确率,而在图像严重退化时回退到图像则会失败。所有逐实例输出、代码,以及重新计算每个所报告的开放模型数值的审计均已发布。
| 评论: | 10 页,5 幅图,11 张表。代码与数据:此 https URL(存档于 此 https URL) |
| 主题: | 机器学习(cs.LG);计算与语言(cs.CL);计算机视觉与模式识别(cs.CV) |
| 引用为: | arXiv:2611.23127 [cs.LG] |
| (或 arXiv:2611.23127v1 [cs.LG] 为本版本) | |
| https://doi.org/10.48550/arXiv.2611.23127 arXiv 颁发的 DOI 经由 DataCite(待注册) |
提交历史
来自:Basavaraj R M [查看邮箱]
[v1]
2026年11月17日 星期二 17:45:28 UTC(1,297 KB)
来源:arXiv cs.CL · arxiv.org