arXiv cs.AI· Xixiang He, Baiqi Wu, Xingming Li, Ao Cheng, Qiyao Sun, Xuanyu Ji, Qingyong Hu·· 11 小时前AI 评分40
StemBind：MLLM 在抽象视觉推理中为何“知道规则却选错答案”
StemBind: When MLLMs Get Lost Between Rules and Instances in Abstract Visual Reasoning
AI 导读
研究者提出诊断基准 StemBind，用同一视觉题干拆成感知、规则、完整作答三个对齐问题，包含 2,298 个题干、19,533 个任务，覆盖九种可审计视觉操作。
正文 · AI 翻译
摘要：多模态大语言模型（MLLMs）往往知道规则却选错答案：在抽象视觉推理（AVR）任务中，模型能够描述它看到的内容并说出背后的模式，却仍然无法选出匹配的候选答案。现有的 AVR 基准无法检测到这一点，因为它们将感知、规则归纳和答案选择压缩为单一的“对或错”信号。我们提出 StemBind，一个共享题干（shared-stem）的诊断性基准，它用三个对齐的问题探查同一视觉题干：感知（图像中有什么）、规则（支配它的模式是什么）和完整（哪个选项能补全它），从而使最终答案的错误可以归因到同一证据上的某个具体子步骤。StemBind 包含 2,298 个精心筛选的、知识依赖较少的题干，覆盖九种可审计的视觉操作，共计 19,533 个 P/R/F 任务，每个完整条目均按 Sternberg 的四个推理阶段（S1 编码、S2 推断、S3 映射、S4 应用）进行标注。对 24 种前沿 MLLM 配置的评估得出四项发现。(i) R-F 鸿沟：在 24 个模型中有 22 个的规则准确率高于完整条目准确率，因此大多数失败发生在规则被识别之后。(ii) 持续存在的绑定差距：即使在同一题干上 P 和 R 都正确，模型仍有 51.2% 的情况下将 F 答错。(iii) 瓶颈是 S3：过程诊断和分阶段刺激增强（Stage-wise Stimulus Augmentation）将主要失败定位到规则到实例的映射。(iv) 扩大规模和思考都无济于事：无论是更大的模型还是显式思考模式，都无法可靠地弥合这一差距，而思考甚至会降低规则准确率和完整条目准确率。StemBind 将 AVR 评估从最终答案排名重新定位为找出抽象视觉推理在何处失效，并将规则到实例的绑定确定为视觉接地推理的下一个具体目标。
| 评论： | 已被 NeurIPS 2026（评估与数据集 Track）接收。Camera-ready 版本。项目页面：this https URL ；代码：this https URL ；数据：this https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.00148 [cs.CV] |
| （或 arXiv:2606.00148v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.00148 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xixiang He [查看邮箱]
[v1]
2026年5月29日星期五 03:20:05 UTC（8,274 KB）
[v2]
2026年10月23日星期五 13:58:35 UTC（7,776 KB）
来源：arXiv cs.AI · arxiv.org