跳到正文
热点事件持续更新

CounterCount揭示VLM计数依赖常识偏差

1 篇报道1 个报道来源11 小时前更新

先了解这件事

AI 综述

Reem Alzahrani 等作者提出诊断数据集 CounterCount,用配对的事实图像与反事实图像(如四只耳朵的兔子)测试视觉语言模型对物体属性数量的计数。16 个被测模型(14 个开源、2 个闭源)平均准确率从事实图像的 91.6% 降至反事实图像的 49.5%,多数错误回答的是常识中的标准数量。 作者分析称,模型在浅层识别主体后即回退到先验知识,其激活中已部分包含正确作答所需的视觉证据,却未被充分利用。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月21日
  1. arXiv cs.AI
    CounterCount:诊断视觉语言模型计数属性时的知识偏差

    研究者推出 CounterCount 诊断数据集,用配对的事实与反事实图像测试视觉语言模型计数属性时的知识偏差。16 个 VLM(14 个开源、2 个闭源)平均准确率从事实图像的 91.6% 降至反事实图像的 49.5%,多数错误给出的是常识性标准数量。分析显示模型在浅层识别主体后即回退到先验知识,其激活中已部分包含正确作答所需的视觉证据却未被充分利用。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。