arXiv cs.CL· Jen-Tse Huang, Dasen Dai, Jen-Yuan Huang, Youliang Yuan, Xiaoyuan Liu, Wenxuan Wang, Wenxiang Jiao, Pinjia He, Zhaopeng Tu, Haodong Duan·· 12 小时前AI 评分58
人类认知基准 VisFacor 揭示多模态大模型的基础视觉短板
Human Cognitive Benchmarks Reveal Foundational Visual Gaps in MLLMs
AI 导读
研究团队提出 VisFacor 基准，将认知心理学评估 FRCT 中 20 项视觉中心子测验数字化，并设计算法自动生成难度可控的测试用例。在 39 个前沿多模态大模型上评测，最高分仅 55.9%，模型在心理旋转、空间关系推理和图形背景区分等任务上普遍失败，与模型规模和提示策略无关。该基准内部一致性 Cronbach's alpha 为 0.94，论文已被 NeurIPS 2026 接收。
正文 · AI 翻译
摘要：人类通过自下而上的层级结构发展感知能力：从基本原语和格式塔原则，到高层语义。当前的多模态大语言模型（MLLMs）直接在下游复杂任务上进行训练。这是否能保证它们在这些基础视觉能力上的表现？为了系统性地研究这一差距，我们推出了 VisFacor，这是一个基准测试，将 FRCT 中的 20 个以视觉为中心的测试子项数字化，FRCT 是一项成熟的认知心理学评估，涵盖人类视觉认知的四个领域。此外，我们设计了算法，能够自动构建并验证难度可控的无限测试用例。使用 VisFacor，我们评估了 39 个前沿 MLLM，包括专有模型（如 GPT、Gemini）和开源模型（如 LLaMA、Qwen）。最佳模型仅获得 55.9% 的分数。分析显示其具有良好的内部一致性（Cronbach's alpha = 0.94）和构念效度（与现有视觉基准相比）。无论模型规模或提示策略如何，模型在心理旋转、空间关系推理和图形-背景辨别等任务上始终失败。这些发现表明，现有通用基准上的性能提升可能只是空中楼阁，而非真正掌握了类人视觉认知。
| 评论： | 已被 NeurIPS 2026 接收 |
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2502.16435 [cs.CV] |
| （或 arXiv:2502.16435v5 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2502.16435 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jen-Tse Huang [查看邮箱]
[v1]
2025年2月23日 周日 04:21:32 UTC（872 KB）
[v2]
2025年8月7日 周四 15:39:27 UTC（2,102 KB）
[v3]
2026年1月27日 周二 15:14:06 UTC（3,296 KB）
[v4]
2026年5月3日 周日 19:46:16 UTC（3,692 KB）
[v5]
2026年10月21日 周三 01:48:56 UTC（3,757 KB）
来源：arXiv cs.CL · arxiv.org