GAP：面向多模态大模型视觉推理的细粒度对齐范式
Fill the GAP: A Granular Alignment Paradigm for Visual Reasoning in Multimodal Large Language Models
研究者提出 GAP（Granular Alignment Paradigm），通过数据级、特征级和模型级三层对齐解决视觉潜在推理中解码器隐状态与输入嵌入特征空间不匹配的问题。在 Qwen2.5-VL 7B 上，GAP 在感知与推理综合得分上优于所有对比方法，且是唯一在两项指标上均超过基座的潜在方法。推理时干预实验表明生成的 latent 携带任务相关视觉信号，而非仅增加 token 槽位。
作者：Yanting Miao、Yutao Sun、Dexin Wang、Mengyu Zhou、Pascal Poupart、Lei Lv、Qi Zhao、Li Wang、Hao Li、Xiaoxi Jiang、Guanjun Jiang
摘要：视觉潜在推理使多模态大语言模型（MLLM）能够以连续 token 的形式生成中间视觉证据，从而避免依赖外部工具或图像生成器。然而，现有方法通常遵循“输出即输入”的潜在范式，所获收益并不稳定。我们识别出这种不稳定性背后的特征空间失配：主流视觉潜在模型构建于 pre-norm MLLM 之上，并将解码器隐藏状态复用为预测的潜在输入，尽管这些状态所处的范数区间与模型训练时所接受的输入嵌入存在显著差异。这种失配使直接的潜在反馈变得不可靠。基于这一诊断，我们提出 GAP，一种用于视觉潜在建模的粒度对齐范式（Granular Alignment Paradigm）。GAP 在三个层面实现视觉潜在推理的对齐：数据级对齐以可检查的辅助视觉监督为潜在目标提供依据；特征级对齐通过轻量级 PCA 对齐的潜在头将解码器输出映射为与输入兼容的视觉潜在表示；模型级对齐则将潜在监督有选择地分配给基础 MLLM 表现吃力的样本。在 Qwen2.5-VL 7B 上，GAP 在所有对比方法中取得了最佳的总体感知与推理得分，并且是唯一一个在两项指标上均优于基础模型的潜在方法。推理时干预进一步表明，生成的潜在表示携带与任务相关的视觉信号，而不仅仅是增加 token 槽位。代码见 此 https URL。
| 评论： | 已被 NeurIPS 2026 接收。26 页 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用格式： | arXiv:2605.12374 [cs.CV] |
| （或本版本使用 arXiv:2605.12374v5 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2605.12374 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yanting Miao [查看邮箱]
[v1]
2026年5月12日星期二 16:41:09 UTC（1,444 KB）
[v2]
2026年5月15日星期五 06:51:05 UTC（1,444 KB）
[v3]
2026年5月20日星期三 07:37:13 UTC（1,444 KB）
[v4]
2026年5月25日星期一 11:34:51 UTC（1,444 KB）
[v5]
2026年11月11日星期三 03:21:08 UTC（1,301 KB）
来源：arXiv cs.AI · arxiv.org