arXiv cs.CL· Chanseul Cho, Noori Bae, Dongheon Lee, Youngmin Ro·· 10 小时前AI 评分31
GRIT：用梯度掩码纠正文本密集推理中的视觉误定位 token
GRIT: Gradient Masking for Visually Misgrounded Tokens in Text-Rich Reasoning
AI 导读
针对视觉语言模型在文本密集推理中"答案正确但中间步骤误读图像"的 CVMR 现象，研究者提出训练框架 GRIT，将视觉定位信号引入 RLVR，通过梯度掩码抑制误定位 token 的影响。团队同时发布 GRIT-Bench，用于跨文本长度与推理深度系统评测。实验显示 GRIT 在推理准确率和定位忠实度上均显著优于现有 RLVR 方法，论文已被 WACV 2027 接收。
正文 · AI 翻译
摘要：带可验证奖励的强化学习（RLVR）近期已被扩展到视觉语言模型（VLM），但其在文本密集型推理任务上的效果仍然有限。我们指出了导致这一局限的一个关键因素：模型在中间步骤中虽然对视觉信息产生误感知，却常常得出正确的最终答案。我们将这一现象定义为“正确但视觉依据错误推理”（Correct-but-Visually-Misgrounded Reasoning，CVMR）。由于标准 RLVR 只奖励最终答案的正确性，它无法区分依据正确的推理与依据错误的推理，从而对两者给予同等强化。通过 token 级分析，我们发现 CVMR token 表现出与依据正确的 token 系统性不同的独特注意力模式。基于这一观察，我们提出 GRIT，一个将视觉依据融入 RLVR 的训练框架，以缓解 CVMR 的影响。此外，针对缺乏能够在文本长度和推理深度上进行系统评估的文本密集型推理基准这一问题，我们推出了 GRIT-Bench。实验表明，与现有 RLVR 方法相比，GRIT 显著提升了推理准确性和依据保真度。
| 评论： | 已被 WACV 2027 接收 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.41629 [cs.CV] |
| （或 arXiv:2610.41629v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41629 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chanseul Cho [查看邮箱]
[v1]
2026年10月30日星期五 12:05:54 UTC（4,250 KB）
来源：arXiv cs.CL · arxiv.org