跳到正文
arXiv cs.AI· Siddharth Vohra, Min Xu·· 23 小时前AI 评分52

Know When to Zoom:视觉语言模型能看清多小的细节?

Know When to Zoom: How Small Is Too Small for Vision-Language Models?

AI 导读

论文测量了四家厂商七个视觉语言模型在大图上的细节保留情况,模型能稳定读出的最小文字从 6 像素以下升至 7680×4320 照片默认设置下的 10 至 13 像素。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:在线视觉语言模型常常会遗漏大图像中的小细节,因为服务会在模型看到图像之前先缩小图像,或者直接拒绝该图像。在一张 8000×6000 的无人机照片中,一辆宽 20 像素的汽车到达 Claude 时只有约 6 像素宽,而 OpenAI 的默认设置会直接拒绝这张照片。我们使用印刷代码视力测试和关于真实照片中小物体的 601 个问题,测量了来自四家厂商的七个模型能保留多少细节。模型有一半概率能读出的最小文字,在小图像上为 6 像素或更小,而在默认设置下,在 7680×4320 的照片上预计会增大到 10 至 13 像素。放大能找回大部分细节。将每张照片分割成最多九个图块,可使 Claude 和 Gemini 的准确率提高 11.1 至 14.5 个百分点,并且通过避免拒绝,将 GPT-6.1 Sol 从 50.7% 提升到 83.7%。两步放大——模型先说出它需要的区域——在 Gemini 上达到或超过图块方法,在 Claude 上则与图块方法相差不超过 2.5 个百分点,且仅使用约 40% 的图像 token。当细节丢失时,Claude 和 Gemini 都有约一半的时间表示无法判断,但在其余情况下它们的失败方式不同:Gemini 在这些情况中有 43% 至 48% 给出自信的错误答案,Claude 仅为 5% 至 9%。基于细节大小、在调用前运行的检查,在 Claude 和 Gemini 上错过了图块方法的大部分增益,但 Claude 自己的回复是一个可靠的触发条件:仅在回复不确定后再进行图块分割,与始终进行图块分割相比差距在 1.4 个百分点以内,且仅使用 62% 至 70% 的图像 token。我们将这些发现转化为智能体何时应放大的五条规则,并在此 https URL发布视力测试、所有模型答案和代码。
评论: 被 WACV 2027 的 SENSE 研讨会接收。10 页,5 幅图,3 张表。代码、数据和通俗语言讲解:此 https URL
主题: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI)
引用为: arXiv:2611.22709 [cs.CV]
  (或 arXiv:2611.22709v1 [cs.CV] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.22709

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Siddharth Vohra [查看电子邮件]
[v1] 2026 年 11 月 17 日星期二 12:50:14 UTC(179 KB)

来源:arXiv cs.AI · arxiv.org