arXiv cs.AI· Haozhan Shen, Liangbo He, Jun Lan, Huijia Zhu, Weiqiang Wang, Tiancheng Zhao, Jianwei Yin·· 10 小时前AI 评分38
ZoomGain：利用全局到放大的感知差距构建细粒度视觉监督数据
ZoomGain: Mining Global-to-Zoom Perception Gaps for Fine-Grained Visual Supervision
AI 导读
ZoomGain 提出一种数据构建流程，利用 VLM 放大局部后才能识别细节的“全局到放大感知差距”，从放大视图获取的信息反向生成整图问题，并用多模型验证答案、排除语言先验可答项。
正文 · AI 翻译
摘要：细粒度视觉感知要求视觉语言模型（VLM）在复杂场景中定位并解读细微证据。为这一能力构建监督信号颇具挑战：问题必须具有正确、无歧义的答案，且答案应依赖于真实的细粒度视觉细节，而非粗粒度线索或语言先验。验证这些性质使得人工标注耗费大量人力，而自动生成对于自身在细粒度感知上存在困难的模型而言也很困难。然而，这些模型在区域被放大后往往能够识别此类细节。我们利用这种全局到放大的感知差距，提出了 ZoomGain，一个数据构建流程，它仅利用通过放大获得的视觉信息来构建关于整幅图像的问题。该流程在放大视图上使用多个模型验证每个答案，确保每个问题在整幅图像中保持无歧义且无法仅凭语言先验作答，并专门为多项选择题生成高质量干扰项。借助该流程和纯人工筛选（无人工问答编辑），我们构建了 ZoomGainBench，一个包含 1,000 道题的双语基准，在 28 个 VLM 中表现最好的模型仅达到 61.08。失败分析表明，模型在多项选择题答错时偏好某一特定类型的干扰项。除评估之外，仅用 9K 个 ZoomGain 样本进行训练即可显著提升我们 4B/9B 模型的视觉感知能力，使其在多项感知基准上超越若干数千亿参数模型。训练后的 9B 模型在多个基准上达到 SoTA 性能，例如在 HR-Bench 4K 上达到 90.25。这些结果确立了全局到放大的感知差距作为扩展细粒度视觉监督（用于评估和训练）的实用基础。我们的代码可在 此 https URL 获取。
| 评论： | 代码：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.14076 [cs.CV] |
| （或 arXiv:2611.14076v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.14076 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Haozhan Shen [查看邮箱]
[v1]
2026年11月10日星期二 13:38:00 UTC（46,736 KB）
来源：arXiv cs.AI · arxiv.org