arXiv cs.CL· Jiacheng Ding, Yanliang Qi, Cong Guo, Peihua Mai·· 10 小时前AI 评分38
See, Think, Use：诊断视觉语言模型的感知与推理失败
See, Think, Use: Diagnosing Perception and Reasoning Failures in VLMs
AI 导读
研究者提出 See, Think, Use 协议，将视觉语言模型的每个答案归因到感知、推理或对感知的利用三个阶段，无需访问模型权重，每道题仅需额外提问两次。在两类模型家族、六个数据集上，该协议显示有效调节手段随任务类型而变；答案通常遵循模型自身感知，但在图像与常见先验相矛盾的样本上会失效，先定位再作答可在定位框正确时修复该失败。按测得阶段分配测试时算力，成本低于最佳统一策略且接近其效果。
正文 · AI 翻译
摘要：我们提出 See, Think, Use，一种将视觉语言模型的每个答案追溯到感知、推理或感知的使用的协议。该诊断向开发者显示应改进哪个阶段，并将测试时计算引导到失败的阶段。基准测试对最终答案评分，而一个基于图像的答案与猜测或记忆的先验获得相同的分数。该协议对每个项目向模型额外提出两个问题，且无需访问其权重。定位探针要求为每个实例给出一个框并测量“看”，文本替换探针根据描述作答并测量“思考”。“使用”是答案在反事实图像对上遵循模型自身感知的比率。该比率不需要答案标签，因为问题和其先验在两张图像上相同。在两个模型家族和六个数据集上，该协议表明起作用的旋钮随任务家族而异。答案遵循模型的感知，除非图像与常见先验相矛盾，而要求模型先定位可在其框正确时修复此失败。按测量阶段分配计算在更低成本下接近最佳统一策略，并在旋钮提升短阶段时胜过相同计算的随机分配。我们将发布代码、提示和每个问题的输出。
| 评论： | 10 页，4 幅图，8 张表 |
| 主题： | 计算机视觉与模式识别 (cs.CV)；人工智能 (cs.AI)；计算与语言 (cs.CL) |
| 引用为： | arXiv:2611.01467 [cs.CV] |
| （或 arXiv:2611.01467v1 [cs.CV] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.01467 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Cong Guo [查看电子邮件]
[v1]
2026 年 11 月 1 日星期日 02:56:06 UTC（2,943 KB）
来源：arXiv cs.CL · arxiv.org