arXiv cs.AI· Zixin Su, Yangguang Lin, Zegang Peng, Yuntong Sun, Xuanyi Wang, Jiahao Wang, Qiankai Xu, Bing Yuan, Jingjia Huang, Ruyang Liu, Yanxu Hu, Yufeng Zhou, Yi Lin·· 1 天前AI 评分40
HumanSightBench：评估 MLLM 人类视觉感知能力的基准
HumanSightBench: A Benchmark for Human Visual Perception in MLLMs
AI 导读
研究者提出 HumanSightBench，一个包含 2,876 道短答案视觉问题、覆盖 7 个顶层感知类别和 21 个子类别的基准，用于评估 MLLM 与人类视觉感知的差距。所有题目需通过问题清晰度、答案唯一性、视觉 grounding、人类可解性和纯文本捷径过滤五道纳入门槛。在八个受评 MLLM 中最佳 pass@3 仅为 65.6%，Counting 类别无一模型超过 27.5%。
正文 · AI 翻译
作者：Zixin Su、Yangguang Lin、Zegang Peng、Yuntong Sun、Xuanyi Wang、Jiahao Wang、Qiankai Xu、Bing Yuan、Jingjia Huang、Ruyang Liu、Yanxu Hu、Yufeng Zhou、Yi Lin
摘要：多模态大语言模型（MLLMs）在知识密集型和基于推理的视觉语言基准数据集上表现出强劲性能，但仍难以解决人类可以轻松解决的视觉问题。由于端到端评估会综合多种能力，或者我们无法确定单个题目是否有效，评估 MLLMs 与人类水平视觉感知之间的差异颇具挑战。具体而言，观察到的错误可能反映视觉感知、语言先验、背景知识、问题歧义以及答案不明确等因素。HumanSightBench 的指导原则是：我们构建的题目在构造上对人类容易、在评估上对模型困难。HumanSightBench 包含 2,876 个视觉问题，答案简短，覆盖 7 个顶层感知类别和 21 个子类别。我们只纳入通过五道纳入门槛的题目：问题清晰性、答案唯一性、视觉依据、人类可解性以及纯文本捷径过滤。根据该协议，错误被定义为在经人类验证的视觉任务上、使用所评估的接口时给出的错误答案。这些纳入门槛旨在减少歧义和外部知识带来的混淆。在八个被评估的 MLLMs 中，最佳 pass@3 得分为 65.6%。在 Counting 上，没有评估模型超过 27.5%。这些结果揭示了被总体得分所掩盖的能力差距，并有助于未来的训练实验和留出评估。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.12305 [cs.CV] |
| （或本版本的 arXiv:2611.12305v2 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2611.12305 arXiv 颁发的 DOI 经由 DataCite |
提交历史
来自：Zixin Su [查看邮箱]
[v1]
2026年11月9日星期一 12:27:19 UTC（1,554 KB）
[v2]
2026年11月11日星期三 10:19:36 UTC（1,553 KB）
来源：arXiv cs.AI · arxiv.org