arXiv cs.AI· Alin-Ionut Popa, Tuo Zhang, Dimitrios Dimitriadis·· 10 小时前AI 评分38
SEE:无需训练,让冻结的 VLM 重新审视自己指向的区域
SEE: Unlocking the Hidden Perception of Frozen VLMs
AI 导读
研究者提出免训练方法 SEE(Self-Elicited Evidence),在冻结 VLM 初次回答置信度低时,让模型自行提出细节可能出现的区域,在放大裁剪图上重新作答,并与原始预测做置信度加权投票。
正文 · AI 翻译
摘要:视觉语言模型(VLM)能把握图像的整体内容,但常常遗漏问题所依赖的细节,例如大照片中的小物体或密集信息图中的数字。然而,即使答案错误,它们所指的区域往往也包含证据。我们提出 Self-Elicited Evidence(SEE),一种无需训练的方法,让冻结的 VLM 在它所指的位置再看一次。当初始答案置信度较低时,SEE 提示模型提出细节可能出现的区域,在这些放大的裁剪图上回答问题,并通过置信度加权投票将答案与原始预测聚合。模型还会用自己的转写文本作答,这在文本丰富的图像上有帮助。SEE 不需要检测器或 OCR 引擎。在五个骨干模型上,SEE 使每个小物体基准提升 2.3-13.1 分,并在小物体上优于五个无需训练的基线。借助 SEE,Qwen3.5-4B 超越了 Qwen3.5-9B 的直接回答,并与大 6 倍的 Qwen3.5-27B 相当。
| 学科: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI) |
| 引用为: | arXiv:2611.23962 [cs.CV] |
| (或本版本使用 arXiv:2611.23962v1 [cs.CV]) | |
| https://doi.org/10.48550/arXiv.2611.23962 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Alin Popa [查看邮箱]
[v1]
2026年11月18日星期三 06:53:22 UTC(14,292 KB)
来源:arXiv cs.AI · arxiv.org