跳到正文
arXiv cs.AI· Alin-Ionut Popa, Tuo Zhang, Dimitrios Dimitriadis·· 10 小时前AI 评分38

SEE:无需训练,让冻结的 VLM 重新审视自己指向的区域

SEE: Unlocking the Hidden Perception of Frozen VLMs

AI 导读

研究者提出免训练方法 SEE(Self-Elicited Evidence),在冻结 VLM 初次回答置信度低时,让模型自行提出细节可能出现的区域,在放大裁剪图上重新作答,并与原始预测做置信度加权投票。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:视觉语言模型(VLM)能把握图像的整体内容,但常常遗漏问题所依赖的细节,例如大照片中的小物体或密集信息图中的数字。然而,即使答案错误,它们所指的区域往往也包含证据。我们提出 Self-Elicited Evidence(SEE),一种无需训练的方法,让冻结的 VLM 在它所指的位置再看一次。当初始答案置信度较低时,SEE 提示模型提出细节可能出现的区域,在这些放大的裁剪图上回答问题,并通过置信度加权投票将答案与原始预测聚合。模型还会用自己的转写文本作答,这在文本丰富的图像上有帮助。SEE 不需要检测器或 OCR 引擎。在五个骨干模型上,SEE 使每个小物体基准提升 2.3-13.1 分,并在小物体上优于五个无需训练的基线。借助 SEE,Qwen3.5-4B 超越了 Qwen3.5-9B 的直接回答,并与大 6 倍的 Qwen3.5-27B 相当。
学科: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI)
引用为: arXiv:2611.23962 [cs.CV]
  (或本版本使用 arXiv:2611.23962v1 [cs.CV])
  https://doi.org/10.48550/arXiv.2611.23962

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Alin Popa [查看邮箱]
[v1] 2026年11月18日星期三 06:53:22 UTC(14,292 KB)

来源:arXiv cs.AI · arxiv.org