arXiv cs.AI· Gregory Kang Ruey Lau, Minh Huynh Nguyen, Bryan Kian Hsiang Low·· 10 小时前AI 评分42
TIGER：弥合多模态大模型的视觉推理接入差距
Seeing Isn't Enough: Unlocking Visual Reasoning by Bridging the Reasoning-Access Gap with TIGER
AI 导读
研究提出 TIGER（Text-to-Image Gap-targeted training for Enhanced Reasoning），通过挖掘模型在文本题上成功、在对应渲染图像上失败的合成模态反事实样本，并用 GRPO 结合 SFT、DPO 变体对图像输入进行后训练。
正文 · AI 翻译
摘要：多模态大语言模型（MLLMs）从其语言主干和文本预训练中继承了强大的文本推理能力，但往往无法将同等水平的能力应用于视觉输入。我们通过让模型处理语义等价的文本输入与渲染文本图像输入，表明这种性能退化不能仅归因于感知失败：模型能够准确读取图像中的文字，并在提供其自身转录文本时恢复到接近文本输入的性能，但就是无法直接对图像进行良好推理。我们将这种差异称为模态推理访问差距，即模型无法将感知到的视觉内容路由到可通过文本访问的现有推理机制中。为弥合这一差距，我们提出 TIGER（面向增强推理的文本到图像差距靶向训练），它首先挖掘合成的模态反事实样本，即模型在文本问题上成功、但在提供相应渲染图像时失败的情况，然后通过组相对策略优化（GRPO）以及 SFT 和 DPO 变体，在图像输入上对模型进行后训练。重要的是，尽管 TIGER 仅使用无多模态标注的合成渲染文本图像进行训练，但它在多种真实世界视觉基准上带来了模型性能提升，包括几何图形（MathVerse）、多学科科学（EMMA、MMMU）、复杂图表（ChartQAPro）和具身空间推理（RoboSpatial-Home）。TIGER 还能补充现有的最先进 RLVR 视觉推理方法，带来进一步的性能提升。涉及推理子空间激活和激活修补的分析提供了支持性证据，表明 TIGER 有助于将视觉到推理的通路对齐到文本推理状态。我们的实现可在 此 https URL 获取。
| 评论： | 已被 NeurIPS 2026 接收。Gregory 和 Minh 贡献相同 |
| 主题： | 人工智能（cs.AI）；计算机视觉与模式识别（cs.CV）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.10552 [cs.AI] |
| （或 arXiv:2611.10552v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.10552 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Huynh Minh Nguyen [查看电子邮件]
[v1]
2026年11月7日星期六 07:41:50 UTC（6,021 KB）
[v2]
2026年11月10日星期二 03:36:09 UTC（6,021 KB）
来源：arXiv cs.AI · arxiv.org