StemBind：诊断MLLM抽象视觉推理的基准

Xixiang He 等作者提出并发布共享题干诊断基准 StemBind，用于定位多模态大模型（MLLM）在抽象视觉推理中出错的具体环节。该基准把同一视觉题干拆成感知（图中有什么）、规则（什么模式支配它）、完整作答（哪个选项能补全）三个对齐问题，使最终答案的错误可以归因到同一证据上的某个子步骤。 StemBind 包含 2,298 个题干、19,533 个任务，覆盖九种可审计的视觉操作。作者称，这一设计针对的是模型“知道规则却选错答案”的现象。

AI 根据报道生成 · 51 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。