arXiv cs.CL· Derek Lilienthal, Manisha Mukherjee, Sameera Horawalavithana·· 3 天前AI 评分23
视觉语言模型物理推理的奖励设计：外部奖励与内部注意力奖励对比
Reward Design for Physical Reasoning in Vision-Language Models
AI 导读
研究对比了视觉语言模型物理推理中的外部奖励与内部注意力奖励：外部奖励（规则化格式与答案正确性检查、LLM-judge 评分）贡献了大部分准确率提升，奖励推理 token 时推理链更连贯。内部注意力奖励无需标注或评判模型，可改善空间关系推理，与外部奖励互补，在 Molmo 2 上以零额外标注成本提升平均准确率并泛化到分布外任务。
正文 · AI 翻译
摘要：对图像进行物理推理需要整合感知、领域知识和多步符号推理，然而视觉语言模型（VLM）在物理基准测试上的表现远不及人类。强化学习可以通过奖励信号提升推理能力，但这些信号是否必须来自模型外部，还是可以从模型自身推导，目前尚不清楚。我们比较了外部奖励——依赖外部验证器（基于规则的格式与答案正确性检查，或 LLM 评判评分标准）——与内部基于注意力的奖励，后者由模型自身对图像区域的注意力计算得出，无需标签或评判器。我们发现，外部奖励带来了大部分准确率提升，而在对推理 token 给予奖励时能保持更连贯的推理。内部基于注意力的奖励提供了一种无需标注的 grounding 信号，可改善空间关系推理，并与外部奖励互补：将其加入格式和准确率奖励中，无需额外标注成本，即可提升 Molmo~2 上的平均准确率，同时能泛化到分布外任务。我们的结果表明，内部注意力奖励可以补充外部监督，并带来更好的物理推理。
| Subjects: | 人工智能（cs.AI）；计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2604.13993 [cs.AI] |
| （或 arXiv:2604.13993v2 [cs.AI] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2604.13993 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Derek Lilienthal [查看邮箱]
[v1]
2026年4月15日星期三 15:36:26 UTC（1,797 KB）
[v2]
2026年10月14日星期三 15:56:56 UTC（2,736 KB）
来源：arXiv cs.CL · arxiv.org