arXiv cs.CL· Omar Sharif, Eftekhar Hossain, Nikhil Singh, Patrick Ng·· 11 小时前AI 评分34
通过奖励设计分离多模态 LLM 的感知与推理能力
Disentangling Perception and Reasoning in Multimodal LLMs via Reward Design
AI 导读
研究在算法视觉谜题上发现，多模态模型的瓶颈是感知而非推理：将图像替换为简单文本描述后，Claude 模型平均性能提升超过 20 分。用 GRPO 训练 Qwen-2.5-VL-7B 时，奖励设计能诱导带自我反思和视觉引用的长结构化推理，较基座模型提升 5.56 分，但收益不均衡，没有单一奖励能改善所有类别。
正文 · AI 翻译
摘要：基于可验证奖励的强化学习已推动 LLM 推理能力大幅提升，人们很自然地认为这一方法也能很好地迁移到多模态模型。然而，多模态模型做两件事：首先感知图像中的内容，然后推理其含义。由于这两个阶段被联合评分，很难判断仅推理本身还有多大提升空间。我们在算法视觉谜题上研究这一问题，其中两个组成部分都必不可少，并表明感知而非推理才是约束瓶颈。将图像替换为简单的文本描述后，Claude 模型的性能平均提升超过 20 分。随后我们评估了六种奖励设计，旨在无需思维链监督的情况下在推理过程中诱导视觉 grounding。使用 GRPO 训练 Qwen-2.5-VL-7B 时，奖励设计诱导出带有自我反思和视觉引用的长结构化推理，相比基座模型获得 5.56 分的提升。然而这些提升并不均衡；没有任何单一奖励能改善所有类别，而带有可验证准确性信号的奖励会以跨域迁移换取域内准确性。这些结果表明，感知感知的奖励设计是一条前进路径，使信号在源头纠正感知，而非纠正继承其错误的推理。
| 评论： | 已被 AACL-ICJNLP 接收 |
| 主题： | 计算机视觉与模式识别 (cs.CV)；计算与语言 (cs.CL) |
| 引用为： | arXiv:2601.00215 [cs.CV] |
| （或本版本使用 arXiv:2601.00215v3 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2601.00215 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Omar Sharif [查看电子邮件]
[v1]
2026 年 1 月 1 日星期四 05:19:28 UTC（8,918 KB）
[v2]
2026 年 6 月 15 日星期一 20:37:49 UTC（9,307 KB）
[v3]
2026 年 10 月 31 日星期六 19:08:55 UTC（9,304 KB）
来源：arXiv cs.CL · arxiv.org