SLVR：通过类人推理流实现结构化潜在视觉推理

查看 PDF HTML（实验性）

摘要：多模态大语言模型（MLLMs）在回答视觉推理问题时，往往依赖语言先验而非与任务相关的视觉证据。文本思维链推理可以通过鼓励模型将视觉问题分解为中间的证据寻求步骤来部分缓解这一问题，但自回归地生成这些步骤会增加推理成本。潜在推理避免了显式的理由生成，但现有方法对中间状态所编码的内容控制有限，使得难以对规划、定位和证据选择分别施加监督。我们提出结构化潜在视觉推理（SLVR），这是一个训练框架，通过将多模态推理组织为用于规划、定位、证据选择和推理整合的类型化潜在阶段，在显式思维链与潜在推理之间架起桥梁。
SLVR 首先通过掩蔽揭示答案的文本，并将正确答案与视觉上合理的干扰项进行对比，来训练模型依赖图像。然后，它将推理组织为用于规划、定位、证据选择和整合的潜在阶段，并用相应的信号监督每个阶段：计划、边界框、视觉证据和最终理由。这为潜在推理赋予了显式的功能结构，同时在推理时避免了生成文本链。
基于 Qwen2.5-VL-7B 构建，SLVR 在多模态推理基准上持续提升，在 MMVP 上绝对提升 +9.4，在 BLINK Relation 上提升 +14.2，并在 V*、MathVista 和 ChartQA 上也有改进。这些结果表明，结构化潜在监督可以在没有文本 CoT 解码开销的情况下改善细粒度视觉推理。项目页面见 \href{this https URL}{here}。

评论：	被 NeurIPS 接收 this http URL 页面 \href{this https URL}
主题：	计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）
引用为：	arXiv:2610.10563 [cs.CV]
	（或 arXiv:2610.10563v1 [cs.CV] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.10563 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Bo Gao [查看邮箱]
[v1] 2026年10月1日星期四 23:04:31 UTC（1,907 KB）