Humanity's Sixth Sense：多模态模型直觉视觉推理基准测试
Humanity's Sixth Sense: Benchmarking Intuitive Visual Reasoning in Multimodal Models
研究者推出 Humanity's Sixth Sense（HSS）基准，用于评测多模态大模型（MLLMs）的直觉视觉推理能力，涵盖图像与视频输入，按时间、空间、社交和抽象结构分类。人类参与者准确率达 93.1%，而最强模型 GPT-6-astra 即使开启最大推理努力也仅达 53.6%。引入动态视觉操作的智能体设置可缩小差距但未能弥合。
作者：Xingang Guo、Jing Gu、Brian Jang、Renxiong Wang、Utkarsh Tyagi、Daniel Quigley、Steven Li、David Yan、Daniel Yue Zhang、Darvin Yi、Forrest Huang、HiJae Kim、Tianyi Zhang、Jared Lichtarge、Jihua Huang、Le Xue、Manan Tomar、Qiuyi Richard Zhang、Ruofei Yu、Seth Neel、Yaning Hu、Marcella Valentine、Xinzhe Jiang、Daniel Evans、Chenguang Wang、Dustin Tran、Tong Zhao、Yinfei Yang、Yunzhong He
摘要：人类在场景中感知到的信息远超显式描绘的内容：一眼便能捕捉过去的成因与未来的轨迹；快速一瞥即可判断一辆车能否停进两辆停放的汽车之间；几秒钟的视频就能揭示房间中谁掌握权威；一段短暂的片段能凸显诸如不成文规则或隐藏标签等微妙的抽象模式。这种能力体现了人类第六感的一种形式：一种超越原始感官知觉、恢复隐含信息的直觉推理机制。至关重要的是，这种快速、零样本的视觉直觉支撑着日常导航与社交互动，使其成为与人类共处的多模态大语言模型（MLLM）的一项关键能力。然而，现有的视觉基准要么针对学术和数学领域中深思熟虑的专家级分析，要么针对低层次感知，使得人们所进行的直觉推理在很大程度上未得到检验。为弥合这一差距，我们提出了“人类第六感”（HSS），一个用于直觉视觉推理的基准。HSS 涵盖多样的图像和视频输入，在结构化分类体系下组织条目，并为每个条目配以人工编写的提示，以探究人们在瞥见之间推断出的隐含时间、空间、社会和抽象结构。前沿 MLLM 未能达到人类水平：参与者达到 93.1% 的准确率，而最强的模型 GPT-6-astra 即使在最大推理努力下也仅达到 53.6%。尽管当前模型在许多需要高级感知和知识的复杂任务中表现出色，但在这些对人类而言直观的视觉任务上仍显著挣扎。我们进一步探索了将动态视觉操作应用于 HSS 的智能体设置，这缩小了差距但并未消除。HSS 将直觉视觉推理确立为一个可度量的维度，并将注意力引向一个在当前基准上扩展至今仍被落下的能力。
| 主题： | 人工智能（cs.AI）；多媒体（cs.MM） |
| 引用为： | arXiv:2610.08966 [cs.AI] |
| （或 arXiv:2610.08966v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08966 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xingang Guo [查看电子邮件]
[v1]
2026年10月6日星期二 18:31:35 UTC（3,547 KB）
[v2]
2026年10月8日星期四 17:39:44 UTC（9,308 KB）
来源：arXiv cs.AI · arxiv.org