arXiv cs.CL· Jiwan Chung, Neel Joshi, Pratyusha Sharma, Youngjae Yu, Vibhav Vineet·· 11 小时前AI 评分40
MathLens 基准揭示 MLLM 多模态推理能力由感知与推理子技能构成
What MLLMs Learn about When they Learn about Multimodal Reasoning
AI 导读
研究者提出 MathLens 基准，将多模态推理拆解为感知、推理和多模态特有成分，用教材式几何题配合纯文本变体与感知探针分别测量。结果显示强化学习主要提升感知 grounding 与图表变化鲁棒性，文本 SFT 的增益则来自反思式推理；随着感知与推理改善，剩余错误中多模态特有成分占比上升。作者据此认为多模态推理的进展是子技能间平衡的转移，而非整体能力提升，呼吁超越单一准确率评分。
正文 · AI 翻译
摘要：多模态推理模型的评估通常被简化为单一的准确率分数，隐含地将推理视为一种单一能力。我们推出 MathLens，这是一个教科书式几何问题基准，通过将性能在操作层面分解为感知、推理和多模态特定组件，揭示了上述假设的问题。每道题均由符号化规范生成，并配有可视化图表、纯文本变体、多模态问题以及针对性的感知探测，从而能够对每个组件进行受控测量。利用这种分解，我们表明常见的训练策略与系统上不同的能力特征相关联，而这些特征在总体准确率下是不可见的。在我们研究的模型中，强化学习主要提升了感知基础和对图表变化的鲁棒性，而我们的分析表明，文本 SFT 通过反思性推理带来增益。相比之下，随着感知和推理的提升，剩余错误中越来越大的一部分落在这些组件之外，被归类为多模态特定错误。这些结果表明，多模态推理中表面上的进展反映的是各子技能之间平衡的转移，而非均匀的进步，这促使我们超越标量准确率进行评估。
| 评论： | NeurIPS 2026。项目页面：此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2510.01719 [cs.CL] |
| （或 arXiv:2510.01719v5 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2510.01719 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Jiwan Chung [查看电子邮件]
[v1]
2025年10月2日星期四 06:58:29 UTC（10,710 KB）
[v2]
2025年10月7日星期二 15:17:04 UTC（10,710 KB）
[v3]
2026年2月3日星期二 08:57:11 UTC（10,984 KB）
[v4]
2026年5月7日星期四 09:13:59 UTC（10,973 KB）
[v5]
2026年10月23日星期五 02:22:08 UTC（10,998 KB）
来源：arXiv cs.CL · arxiv.org