跳到正文
arXiv cs.CL· Kegeng Tang, Jingbo Wang, Yangming Zhang, Huanshu Zhang, Shaogang Ren, Zihao Wang·· 12 小时前AI 评分29

基于多分支探索的潜在视觉对比推理

Latent Visual Contrastive Reasoning with Multi-Branch Exploration

AI 导读

研究提出 Latent Visual Contrastive Reasoning,一种分支感知的潜在推理框架,可生成多个以问题为条件的潜在视觉分支作为图像 token 上的软假设。该方法利用边界框证据标注构建目标证据表示,并引入软对比分支-证据对齐目标,在 Qwen2.5-VL 骨干上以标准监督微调训练。在感知密集型视觉推理基准上,3B 与 7B 规模均优于对应骨干和单路径潜在推理基线。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:多模态大语言模型在视觉问答方面已取得实质性进展,但复杂的视觉推理往往需要定位并比较多个与问题相关的视觉证据。现有将中间推理移入视觉潜在空间的方法通常遵循单一的线性推理轨迹,当存在多个视觉假设或相互竞争的候选证据区域时,这种方式可能受到限制。我们提出潜在视觉对比推理(Latent Visual Contrastive Reasoning),这是一个分支感知的潜在推理框架,可生成多个以问题为条件的潜在视觉分支,作为图像 token 上的软假设。为训练这些分支,我们的方法利用边界框证据标注构建目标证据表示,并引入软对比分支—证据对齐目标。该目标促使与证据相关的分支与标注的视觉区域对齐,同时将其与负证据进行对比。我们在 Qwen2.5-VL 骨干网络上实例化该方法,并使用标准监督微调进行训练。在感知密集型视觉推理基准上的实验表明,所提方法在 3B 和 7B 规模上均较相应的骨干网络和单路径潜在推理基线取得了整体提升。
评论: 已被 IEEE BigData 2026 接收
主题: 计算机视觉与模式识别(cs.CV);计算与语言(cs.CL)
引用为: arXiv:2610.36809 [cs.CV]
  (或本版本的 arXiv:2610.36809v1 [cs.CV])
  https://doi.org/10.48550/arXiv.2610.36809

arXiv 颁发的 DOI 通过 DataCite(待注册)

提交历史

来自:Kegeng Tang [查看邮箱]
[v1] 2026年10月27日 星期二 08:12:07 UTC(836 KB)

来源:arXiv cs.CL · arxiv.org