arXiv cs.AI· Marc Chapus, Carlos Crispim-Junior, V\'eronique Eglin, Atilla Baskurt·· 11 小时前AI 评分34
CountVideoBench：评估视频语言模型在物体计数任务上预测偏差的基准
CountVideoBench: A Benchmark to Evaluate Prediction Biases on the Object Counting task by Video-Language Models
AI 导读
研究团队推出 CountVideoBench，包含 2,600 个合成视频，覆盖 [5, 50] 区间内 26 个基数（每个 100 个视频），用于评估视频语言模型的物体计数能力。
正文 · AI 翻译
摘要：视频中的物体计数仍然是大规模多模态语言模型一项特征描述不足的能力。许多现有的 VideoQA 基准都包含计数问题，但这些基准中的真实计数分布严重偏向小数值。在我们调查的九个基准中，真实计数的中位数最多为五，而三个最频繁的数值合计占视频的 45% 到 93%。由此得到的平均准确率被最频繁的计数所主导；在罕见计数上依赖数值的偏差对平均值的贡献可以忽略不计，并且始终不可见。我们推出了 CountVideoBench，这是一个包含 2,600 个合成视频的基准，覆盖区间 [5, 50] 内的 26 个基数（每个 100 个视频），分为六个连续计数簇，这些簇跨越该范围，同时支持近邻比较。每个视频在受控的相机运动下包含单一类别的静态物体，消除了物体运动并减少了识别作为混杂因素。我们在零样本设置下评估了来自九个架构家族的十六个视频语言模型。没有模型超过 27.6% 的精确匹配率。准确率对基数的依赖因模型而异，从单调下降，到非单调的峰值-崩塌模式，这排除了基数增加导致难度增加作为计数失败的主要解释。每个模型还进一步将其预测集中在自己的一组偏好整数上，准确率峰值与这些值重合，并在相邻计数处崩塌。这些发现凸显了需要平衡的、诊断性的计数基准来可靠地评估这一基本视觉能力。
| 评论： | 已被 BMVC 2026 接收。项目页面：this https URL |
| 主题： | 计算机视觉与模式识别 (cs.CV)；人工智能 (cs.AI)；机器学习 (cs.LG) |
| 引用为： | arXiv:2610.28356 [cs.CV] |
| （或 arXiv:2610.28356v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28356 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Marc Chapus [查看电子邮件]
[v1]
2026年10月20日星期二 15:20:28 UTC（18,637 KB）
来源：arXiv cs.AI · arxiv.org