arXiv cs.AI· Gouki Minegishi, Hiroki Furuta, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo·· 10 天前AI 评分27
VLMs 的抽象推理如何实现？RMTS 范式揭示两条竞争回路
Matching Object or Relation? Tracing Abstract Reasoning Inside VLMs
AI 导读
研究采用心理学 Relational Match-to-Sample（RMTS）范式结合机制分析，在 GPT、Claude、Gemini 及 Qwen3.5、Gemma-4、InternVL3 上发现能力层级、模型规模、场景物体数量和逐物体刺激噪声四项因素共同推动 VLM 呈现类人类"关系转换"轨迹。
正文 · AI 翻译
摘要：视觉语言模型（VLM）在视觉基准测试中表现出色，但在需要抽象推理的任务上却系统性地失败。现有基准测试记录了这种失败，但无法说明其\emph{原因}，也无法指出缺失的是哪种认知能力。我们通过采用比较心理学和发展心理学中的关系样本匹配（RMTS）范式，并结合对模型内部的机制性分析，填补了这一空白。在一组参数化控制的刺激集上，我们对前沿 API 模型（GPT、Claude、Gemini）和三个开源系列（Qwen3.5、Gemma-4、InternVL3）进行了评估，识别出四个将 VLM 推向关系匹配的杠杆——能力层级、模型规模、每个场景中的物体数量，以及每个物体刺激噪声的缺失——它们共同产生了一条类似发展轨迹的路径，与人类的\emph{关系转变}相呼应。打开模型内部，逐层表征相似性分析和因果中介分析揭示，VLM 的抽象推理由两个相互竞争的回路实现：一个早期回路按图像的表层物体特征来组织图像，一个晚期回路按图像的抽象关系来组织图像。将分析扩展到 ARC-AGI-1，我们发现，消融在 RMTS 上识别出的关系头比消融随机头对性能的损害更大，这表明该关系回路在我们的受控刺激之外也被调用。我们希望这种机制层面的视角能成为理解 VLM 中抽象推理如何实现的一步。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.07646 [cs.AI] |
| （或 arXiv:2610.07646v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07646 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Gouki Minegishi [查看电子邮件]
[v1]
2026年10月6日星期二 02:38:40 UTC（788 KB）
来源：arXiv cs.AI · arxiv.org