arXiv cs.AI· Reem Alzahrani, Bushra Bin Hemid, Hassan Alshanqiti, Zaid Alyafeai, Paul Gavrikov, Bernard Ghanem, Abdelrahman Eldesokey·· 12 小时前AI 评分42
CounterCount：诊断视觉语言模型计数属性时的知识偏差
CounterCount: Diagnosing Knowledge Bias in How Vision-Language Models Count Attributes
AI 导读
研究者推出 CounterCount 诊断数据集，用配对的事实与反事实图像测试视觉语言模型计数属性时的知识偏差。16 个 VLM（14 个开源、2 个闭源）平均准确率从事实图像的 91.6% 降至反事实图像的 49.5%，多数错误给出的是常识性标准数量。分析显示模型在浅层识别主体后即回退到先验知识，其激活中已部分包含正确作答所需的视觉证据却未被充分利用。
正文 · AI 翻译
摘要：视觉语言模型（VLM）是在数它们所看到的，还是在数它们所知道的？我们提出 CounterCount，这是一个由配对的事实图像与反事实（CF）图像构成的诊断数据集，其中 CF 图像包含某主体属性的非典型数量（例如一只长着四只耳朵的兔子），并附有定位被计数属性的标注。人类对这两类图像的回答几乎完全正确（$98.9\%$ 和 $97.5\%$），但在 16 个 VLM（14 个开放权重模型和 2 个闭源模型）上，平均准确率从事实图像上的 $91.6\%$ 下降到 CF 图像上的 $49.5\%$，且大多数错误来自与典型数量相符的回答，从而揭示出模型偏向于知识先验，而非依赖视觉信息。基于这些发现，我们进行了一项分析，揭示了这一差距背后的两个有趣洞见。第一，模型表现出类似“系统 1”的响应行为，在对主体进行浅层识别后便回退到典型数量。第二，模型激活中部分包含了正确作答所需的视觉证据，但模型未能充分利用它，当给出有偏答案时对被计数属性的关注减少。破坏视觉上下文、引入提示或推理、或直接放大模型内部对相关区域的注意力等输入操作，可以减轻此类偏差。CounterCount 不仅表明 VLM 会回退到知识先验，还揭示出：一旦识别出熟悉的上下文，模型便会偏向先验知识而非可用的视觉证据，而不是未能编码该证据。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.17826 [cs.CV] |
| （或 arXiv:2605.17826v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.17826 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Reem Alzahrani [查看邮箱]
[v1]
2026 年 5 月 18 日星期一 04:00:05 UTC（9,311 KB）
[v2]
2026 年 10 月 20 日星期二 15:34:58 UTC（8,176 KB）
来源：arXiv cs.AI · arxiv.org