arXiv cs.CL· Lai Wei, Yatai Li, Liangbo He, Jun Lan, Renjie Gu, Linhan Cao, Junkai Lin, Huijia Zhu, Weiqiang Wang, Linghe Kong, Yue Wang, Zhuosheng Zhang, Weiran Huang·· 12 小时前AI 评分40
ZwZ2：用 EvidenceConnect 数据合成框架强化多模态感知中的证据连接能力
Zooming without Zooming v2: From Seeing Details to Connecting Evidence for Generalizable Multimodal Perception
AI 导读
研究者提出 EvidenceConnect 数据合成框架，利用单张图像内相关区域的放大视图生成需比较、聚合或链式推理视觉证据的问题，并以独立 VLM 一致性和区域消融测试筛选数据，再通过 RLVR 训练得到 Zooming without Zooming v2（ZwZ2）。
正文 · AI 翻译
作者：Lai Wei、Yatai Li、Liangbo He、Jun Lan、Renjie Gu、Linhan Cao、Junkai Lin、Huijia Zhu、Weiqiang Wang、Linghe Kong、Yue Wang、Zhuosheng Zhang、Weiran Huang
摘要：多模态感知是多模态智能的基础。具体而言，空间感知与多模态长上下文理解是支撑具身智能与多模态智能体的两项关键任务。然而，为这些任务合成有针对性的高质量训练数据仍然困难且成本高昂。我们的核心洞见是，这些任务共享一种底层能力，我们称之为“连接证据”：识别相关视觉事实，将其绑定到正确的实体，恢复它们之间的关系，并将其组合成答案。关键在于，针对这一能力合成训练数据，远比针对这些任务本身合成数据容易得多。为强化这一能力，我们提出 EvidenceConnect，一个易于实现的数据合成框架，它利用单张图像中相关区域的放大视图来生成需要比较、聚合或串联视觉证据的问题。为保证质量，只有当独立的 VLM 对参考答案达成一致时才保留该答案，并通过区域消融测试丢弃那些在移除选定区域后答案仍然成立的问题。随后，我们用 RLVR 在所得数据上训练基础 VLM，得到 Zooming without Zooming v2（ZwZ2）。尽管合成数据并非针对任何下游基准定制，ZwZ2 仍提升了细粒度感知与空间感知，并在具身空间推理、多模态长上下文理解、多模态智能体任务和通用视觉推理上取得进一步提升。这些结果确立了 EvidenceConnect 作为监督证据连接的有效框架，并表明强化这一共享能力可带来更具泛化性的多模态感知。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.37037 [cs.CV] |
| （或 arXiv:2610.37037v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37037 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Lai Wei [查看邮箱]
[v1]
2026年10月27日 星期二 11:11:53 UTC（3,416 KB）
来源：arXiv cs.CL · arxiv.org