arXiv cs.AI· Zujing Liu, Junwen Pan, Qi She, Yuan Gao, Guisong Xia·· 10 小时前AI 评分38
视觉思维是否忠实：LVLM 多模态链式推理的测量与增强
On the Faithfulness of Visual Thinking: Measurement and Enhancement
AI 导读
研究测量了大型视觉语言模型（LVLM）多模态链式推理（MCoT）的忠实性，发现视觉干预下模型预测几乎不变、文本干预下则显著变化，说明视觉证据被大幅忽略。作者提出基于 LVLM 的自动评估指标，从相关性与充分性两方面量化视觉线索，发现现有 MCoT 中的视觉信息既不相关也不充分。
正文 · AI 翻译
摘要：近期的大型视觉语言模型（LVLM）在强化微调（RFT）后能够生成视觉-文本多模态思维链（MCoT）轨迹。然而，我们观察到，即使答案正确，MCoT 中的视觉信息也往往不准确，而且即便视觉信息被破坏，任务准确率也几乎不变。这表明 MCoT 推理中的视觉部分缺乏忠实性。我们将此归因于 RFT 中的强化学习奖励设计，它仅激励交错视觉-文本线索的格式，鼓励模型将视觉信息纳入其文本推理步骤，而不考虑其正确性。在本文中，我们首先通过测量当视觉和文本思维被干预时预测变化多少来探究 MCoT 的忠实性。令人惊讶的是，模型的预测在视觉干预下几乎不变，但在文本干预下变化显著，表明视觉证据在很大程度上被忽略。为了进一步分析视觉信息，我们引入了一种基于 LVLM 的自动化评估指标，从相关性和充分性两个角度量化视觉线索的忠实性。我们的评估揭示，当前 MCoT 轨迹中的视觉信息同时存在不相关和不充分的问题。为解决这一问题，我们提出了充分成分因果模型（SCCM）学习。该方法鼓励 MCoT 生成充分且最小的视觉成分，这些成分能够独立地导向正确答案。所提出的 SCCM 无需标注且即插即用，可与各种用于 MCoT 的 RFT 兼容。实证结果表明，SCCM 在一系列细粒度感知和推理基准上大幅提升了视觉忠实性。代码可在 此 https URL 获取。
| 评论： | NeurIPS 2026 Poster |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2510.23482 [cs.CV] |
| （或 arXiv:2510.23482v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2510.23482 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zujing Liu [查看邮箱]
[v1]
2025年10月27日星期一 16:15:54 UTC（26,333 KB）
[v2]
2026年10月30日星期五 03:20:12 UTC（21,153 KB）
来源：arXiv cs.AI · arxiv.org