arXiv cs.AI· Ziqi Wen, Parsa Madinei, Miguel P. Eckstein·· 3 天前AI 评分32
研究揭示 VLM 与人类场景描述之间的语义显著性差距
Revealing the Gap in Human and VLM Scene Description through Counterfactual Semantic Saliency
AI 导读
研究者提出 Counterfactual Semantic Saliency（CSS）框架，通过因果消融物体测量语义偏移，以黑盒方式量化物体重要性。基于 307 个复杂自然场景、1,306 个反事实变体和 16,603 份人类有效回答的对比测试显示，VLM 相比人类更依赖大物体、图像中心物体和高显著性物体，而对场景中人物的依赖更少，其中尺寸偏差是模型与人类语义分歧的主要驱动因素。
正文 · AI 翻译
摘要：评估大型视觉语言模型（VLM）在高层次语义场景理解方面是否与人类感知一致仍然是一项挑战。传统的白盒可解释性方法不适用于闭源架构，而被动指标无法分离出因果特征。我们提出了反事实语义显著性（CSS）。这一黑盒、模型无关的框架通过测量从场景中因果消融物体所引发的语义偏移来量化物体的重要性。为评估 AI 与人类的语义对齐，我们将主流 VLM 与人类心理物理学基线进行了对比测试，该基线包含来自 307 个复杂自然场景和 1,306 个高保真反事实变体的 16,603 条有效回答。我们的分析揭示了一个普遍存在的场景理解差距：相对于人类，模型过度依赖大物体（尺寸偏差）、位于图像中心的物体（中心偏差）以及高显著性物体。相比之下，在描述图像时，模型对场景中人物的依赖程度低于我们的人类参与者。模型的尺寸偏差是解释模型与人类语义分歧变化的主要驱动因素。代码和数据可在 此 https URL 获取。
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.13047 [cs.CV] |
| （或 arXiv:2605.13047v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.13047 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Ziqi Wen [查看电子邮件]
[v1]
2026年5月13日星期三 06:11:47 UTC（5,479 KB）
[v2]
2026年10月10日星期六 19:45:17 UTC（6,089 KB）
来源：arXiv cs.AI · arxiv.org