Elorian 与 Scale AI 发布 HSS 基准，测量多模态模型的直觉视觉推理
Humanity's Sixth Sense – benchmark measuring implicit visual reasoning
Elorian 与 Scale AI 联合发布 Humanity's Sixth Sense（HSS）基准，用 522 道开放式题目测量多模态模型对画面隐含信息的直觉视觉推理，含 288 张图片和 234 段短视频、共 17.6 小时视频。
2026年10月8日 · 研究
一个衡量我们从场景中获取的隐式视觉推理与直觉理解的基准。与 Scale AI 合作构建。
来自 HSS 的六个示例。你会如何作答？
-
“法律图书馆书籍” 作者 Janet Lindenmuth，CC BY 2.0。 为网页调整了尺寸；除此之外未作改动。 这个书架上还能再放两本白皮书吗？
能——放进现有的空隙里。
在论文的评估中，GPT 6 Astra、Gemini 3.8 Flash 和 Claude Opus 5.5 在三次尝试中都回答“不能，空间太小了”。 图 10 · 可供性与可行性
-
Gebirgslandschaft（山地风景） 作者 Paul Bril（约 1553–1626）。公有领域，来自 Wikimedia Commons。为网页调整了尺寸。 带着两只狗的旅人是从画面的哪一侧进入的？
底边——沿着路径回溯就能看出来。
在论文的评估中，GPT 6 Astra、Gemini 3.8 Flash 和 Claude Opus 5.5 在三次尝试中都回答“左下侧”。 图 11 · 回溯推断
-
Horse Ploughing (8) 作者 Bernard Spragg，2010 年。公有领域，来自 PICRYL。 这些链条是否承受着犁的拖拽重量？
是——它们绷紧且受力。
在论文的评估中，GPT 6 Astra、Gemini 3.8 Flash 和 Claude Opus 5.5 在三次尝试中都回答“没有，它们松弛下垂”。 图 12 · 机械因果性
-
飞机周围的人是参观者，还是准备飞机的机组人员？
机组人员——从打开的检修面板就能看出来。
在论文的评估中，GPT 6 Astra、Gemini 3.8 Flash 和 Claude Opus 5.5 在三次尝试中都回答“正在查看它的参观者”。 图 13 · 社会角色、规范与权力
-
Walter IV 飞机发动机，科希策航空博物馆 作者 ZemplinTemplar，2010 年。 CC BY-SA 4.0， 来自 Wikimedia Commons。 如果轴旋转，它周围的护罩也会旋转吗？
不会——它用螺栓固定在发动机外壳上。
在论文的评估中，GPT 6 Astra、Gemini 3.8 Flash 和 Claude Opus 5.5 在三次尝试中都回答“会，它随轴一起转动”。 图 13 · 变化与后果
-
根据那面条纹旗，风往哪个方向吹？
朝向镜头。
在论文的评估中，GPT 6 Astra、Gemini 3.8 Flash 和 Claude Opus 5.5 在三次尝试中都回答“从右到左横穿画面”。 图 9 · 隐藏与不可见
这些问题属于 Humanity's Sixth Sense（HSS）中的 522 个问题之一，HSS 是我们与 Scale AI 合作构建的一个新基准。HSS 衡量模型如何解读并推理视觉场景所暗示但并未明确展示的信息。当一个人看着某样东西时，他无需费力思考就能得出无数结论。随着我们长大成人，我们发展出一种第六感，使我们能够概念化现实世界的场景，包括超越孤立物体的空间布局、语境和结构关系。
这种认知发展从婴儿期到童年期逐渐形成，由专门的大脑区域和一套被称为“场景语法”的框架驱动。到十几岁早期，大多数人就能准确勾勒出一个场景，即使视觉线索有限，也能预测接下来会发生什么。这主要是通过填补空白并基于过往经验预测动作来完成的。理论上，前沿模型似乎应该擅长从无数视角汇编复杂信息，从而做出准确预测。目前大多数模型缺乏基本的视觉技能，无法原生地处理依赖视觉的任务。
整体图景
模型研究主要集中在基于文本的问题上，利用代码、数学、书籍和考试题目。大多数“视觉”基准测试的是同样的文本导向流程。HSS 的独特之处在于它测试简单的视觉推理，涵盖四个领域：
- 时间与因果动态 场景之前发生了什么，接下来会发生什么。
- 物理与空间逻辑 什么能放得下，什么触手可及，以及别人从他们站的位置能看到什么。
- 社会理解 意图、注意力、归属感。
- 抽象与语境推断 一个场景所暗示的模式和规则。
该基准测试共有 522 项任务：288 张图像和 234 个短视频片段，视频总时长 17.6 小时。
HSS 测量什么
前沿模型能编写生产代码并通过专业考试。鉴于它们还能编辑图像、识别视频中的物体，这些模型似乎比实际更懂视觉任务。大多数视觉基准测试强化了这种印象。
人类的视觉推理能力远超大多数视觉基准测试所测量的范围。我们通常能判断一张照片拍摄前一刻发生了什么、一个箱子能否通过一扇门，或者一只狗为什么跑开。HSS 中的每个问题都是开放式的，答案根据人工编写的评分标准进行评分。只有满足评分标准上的每一点，答案才算通过，因此模型无法靠猜测过关。
排行榜
| 模型 | 努力程度 | pass@1 | 图像 | 视频 | 时间 | 空间 | 心智 | 语境 |
|---|---|---|---|---|---|---|---|---|
| 人类基线 | — | 93.1 | 94.1 | 91.9 | 97.0 | 94.9 | 89.1 | 89.2 |
| GPT 6 Astra | max | 53.6 ±4.1 | 55.6 | 51.1 | 58.2 | 53.6 | 46.1 | 55.6 |
| GPT 6.1 Sol | max | 46.6 ±3.8 | 45.5 | 47.9 | 55.2 | 45.8 | 36.4 | 47.4 |
| Claude Opus 5.5 | xhigh | 44.6 ±3.8 | 51.3 | 36.5 | 44.0 | 44.9 | 34.8 | 55.6 |
| Gemini 3.8 Flash | high | 41.6 ±3.7 | 47.2 | 34.8 | 43.3 | 37.5 | 40.0 | 48.4 |
| Claude Fable 5.1 | xhigh | 40.8 ±3.6 | 44.7 | 36.0 | 43.3 | 41.1 | 34.2 | 44.1 |
| Gemini 3.7 Flash | high | 39.8 ±3.7 | 45.4 | 33.0 | 40.5 | 40.9 | 35.8 | 41.5 |
| Muse Spark 1.3 | max | 37.4 ±3.5 | 44.8 | 28.2 | 39.6 | 38.1 | 25.8 | 45.8 |
| Claude Fable 5 | max | 34.5 ±3.7 | 37.2 | 31.3 | 38.1 | 37.1 | 30.0 | 30.4 |
| Qwen 3.8 Max | max | 33.0 ±3.6 | 38.3 | 26.2 | 38.1 | 35.2 | 21.0 | 34.7 |
| Gemini 3.5 Flash | high | 32.6 ±3.4 | 35.1 | 29.6 | 35.6 | 31.6 | 31.8 | 31.4 |
| Gemini 3.6 Flash | high | 31.9 ±3.4 | 32.5 | 31.2 | 37.1 | 29.7 | 32.4 | 28.4 |
| GPT 6 Sol | max | 31.2 ±3.4 | 31.8 | 30.5 | 38.1 | 28.6 | 22.4 | 36.3 |
| Qwen 3.8 Flash | max | 30.9 ±3.3 | 37.2 | 22.9 | 37.9 | 29.2 | 18.6 | 37.1 |
| Claude Opus 5 | max | 30.5 ±3.5 | 32.5 | 27.9 | 31.3 | 35.0 | 22.4 | 30.1 |
| GPT 5.6 Sol | max | 30.0 ±3.3 | 28.5 | 31.9 | 38.6 | 26.3 | 27.3 | 28.1 |
| GLM 5.3 Flash | max | 26.8 ±3.0 | 30.2 | 22.6 | 31.3 | 26.3 | 18.2 | 31.0 |
| Kimi K3 | max | 25.5 ±3.1 | 29.1 | 21.2 | 33.1 | 27.4 | 15.5 | 23.2 |
| MiMo v2.6 Flash | high | 25.4 ±2.9 | 29.2 | 20.6 | 30.1 | 29.6 | 12.1 | 26.7 |
| MiMo v2.6 Pro | high | 25.2 ±2.9 | 30.4 | 18.6 | 28.3 | 29.5 | 14.5 | 25.7 |
| Claude Sonnet 5 | max | 24.8 ±3.2 | 29.5 | 18.9 | 29.1 | 27.5 | 14.2 | 25.8 |
| Muse Spark 1.2 | xhigh | 24.5 ±3.1 | 27.5 | 20.8 | 23.6 | 24.2 | 21.2 | 29.7 |
| Claude Opus 4.8 | max | 23.5 ±3.2 | 27.2 | 18.9 | 27.1 | 26.5 | 14.2 | 23.5 |
| GPT 5.6 Terra | max | 22.7 ±3.2 | 24.1 | 20.9 | 28.4 | 21.0 | 19.1 | 21.9 |
| GPT 5.6 Luna | max | 21.6 ±3.2 | 23.5 | 19.4 | 26.9 | 24.6 | 13.3 | 18.6 |
| GPT 6 Luna | max | 21.0 ±3.0 | 23.3 | 18.2 | 26.9 | 24.1 | 9.4 | 20.6 |
| GPT 6 Astra，移除媒体 | max | 6.6 ±1.5 | 2.4 | 11.7 | 9.5 | 5.5 | 4.8 | 6.5 |
来自八家公司的二十五个模型。大多数得分低于 40%，中位数模型得分为 30.9%。最后一行是论文的盲对照组——最强的模型，在去掉图像或视频后再次运行。它得分为 6.6%，这是仅凭猜测问题文本所能得到的最低分。
模型在哪里失败
HSS 任务对普通人来说相当容易，基线得分为 93.1%。
在团队标注的 8,573 个单独失败案例中，94% 可追溯到看或推断，而非推理。模型在 53% 的情况下误读了图像中的某些内容，另有 41% 的情况下未能推断出图像暗示但未显示的内容。只有 5% 归结为逻辑错误。
两个最常见的单一错误是（1）遗漏决定答案的细节（占失败的 21%）和（2）错误识别物体、人物或角色（占 20%）。该分析涵盖的 24 个模型的失败情况一致。在细微差别、视角、物体变化、光照效果和因果关系方面存在显著困难。在五个或更多模型失败的任务上，中位数为 80% 的模型因相同原因失败。
最弱的领域是社会理解——解读信念、意图以及谁服从谁。它是 25 个模型中 21 个得分最低的领域，平均为 24.4%，而其他三个领域平均为 34.1%。对于 25 个模型中的 23 个，视频比静态图像更难，平均难 7.3 个百分点。
增加推理努力总体上有所帮助，但在某些技能上会使情况更糟。论文报告称，当推理努力从 high 扩展到 xhigh 时，GPT 6 Astra 在回溯预测——推断所显示时刻之前刚刚发生的事情——上下降了 14 个百分点；随后在 max 时得分部分恢复。最佳得分通常出现在中间设置。在多个模型上增加推理努力经常导致模型过度思考或关注不正确的证据。
Claude Code 和 Codex 等智能体工具通过让模型裁剪、缩放和再看一眼，适度提高了得分。在用于智能体评估的 388 个任务子集上，最佳设置达到 59.3%。再看一眼通过捕捉遗漏的线索和误读的物体，将失败从 944 减少到 759。更仔细的观察无法修复的是深度：将 2D 重叠读作 3D 对齐的错误基本没有变化，从 102 到 101。智能体有时会说服自己放弃第一次就答对的答案。
人类指出他们主要凭直觉回答问题。通常花更多时间解释推理，而不是得出正确答案。许多人类失败案例可追溯到粗心、误解问题和算术错误。作者注：绝对从未发生在我身上。
马是朝你走来，还是离你而去？
Elorian 正在构建视觉思维的基础。HSS 是识别和理解如何解决前沿模型中复杂差距的初步步骤。HSS 凸显了当今模型看和解读视觉信息的能力极为有限，且并非某一实验室模型的怪癖。
本文中的图表、问题和参考答案引自 Humanity’s Sixth Sense: Benchmarking Intuitive Visual Reasoning in Multimodal Models，作者为 Guo、Gu、Jang 等人——这是 Scale AI 与 Elorian 的联合论文。模型结果与该论文所报告的一致，对应其评估中使用的模型版本和推理强度设置。随着厂商发布新版本，该基准上的分数会变化；上方的排行榜是当前的情况。
来源：Hacker News · elorian.ai