arXiv cs.CL· Yin Liu·· 10 小时前AI 评分47
研究揭示多模态 LLM 在图表计数上的失败根源：是看错还是算错
Seeing vs. Counting: Complexity Twins Show Where Multimodal LLMs Fail on Diagrams
AI 导读
研究用同一张图的不同计数复杂度问题（生成树 vs 简单路径）区分多模态 LLM 的"看"与"算"，测试 Gemini、Gemma 和 Qwen3-VL。Gemini 模型在思维链下多数能正确读取小图却算错，答对几率随答案规模每增大一个数量级下降 2.38 倍，而非由复杂度类别决定。
正文 · AI 翻译
摘要：当多模态 LLM 在图表中数错时，它是在“看”上失败，还是在“数”上失败？现有的视觉图与谜题基准将视觉密度和算法难度一起变化，混淆了这两者。我们针对同一幅图配对提出属于不同计数复杂度类别的计数问题，例如其生成树（一个行列式）和其简单路径（#P 完全），并使用转录探针和纯文本对照来区分读取与计算。我们测试了 Gemini、Gemma 和 Qwen3-VL 模型；对于 Gemini 模型，答案取决于模型如何计算。在思维链中，它们大多能正确读取小图，然后在计数上失败，其失败率更多地由答案的大小而非其复杂度类别决定（对于主要模型，答案每增加一个数量级，得到精确答案的几率下降 2.38 倍）。给定代码和精确转录，主要模型即使在 10x10 网格上也能正确计数，而读取成为瓶颈：单次查看会漏掉水平边，而对旋转副本进行第二次读取并做裁剪检查，可以精确读取 86/96 个大网格，相比之下，仅重复正向读取只能读取 57/96。
| 评论： | 正文 8 页 + 附录 96 页（总计 107 页，含参考文献） |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.08998 [cs.CV] |
| （或 arXiv:2611.08998v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.08998 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yin Liu [查看电子邮件]
[v1]
2026 年 11 月 6 日星期五 05:17:08 UTC（1,761 KB）
来源：arXiv cs.CL · arxiv.org