MathLens基准分解多模态推理能力
热点事件持续更新
MathLens基准分解多模态推理能力
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Jiwan Chung等作者提出MathLens基准,用教材式几何题及纯文本变体和感知探针,把多模态大模型的表现拆成感知、推理与多模态特有成分分别测量。 作者称,结果显示强化学习主要提升感知定位与图表变化鲁棒性,文本监督微调的增益来自反思式推理;随着感知和推理改善,剩余错误中多模态特有成分占比上升。 作者据此认为,多模态推理的进展是子技能间平衡的转移而非整体能力提升,呼吁超越单一准确率评分。
AI 根据报道生成 · 55 分钟前更新
最新进展10月26日 12:00
MathLens 基准揭示 MLLM 多模态推理能力由感知与推理子技能构成报道时间线
沿着报道,了解事件的不同侧面。
10月26日
- arXiv cs.CLMathLens 基准揭示 MLLM 多模态推理能力由感知与推理子技能构成
研究者提出 MathLens 基准,将多模态推理拆解为感知、推理和多模态特有成分,用教材式几何题配合纯文本变体与感知探针分别测量。结果显示强化学习主要提升感知 grounding 与图表变化鲁棒性,文本 SFT 的增益则来自反思式推理;随着感知与推理改善,剩余错误中多模态特有成分占比上升。作者据此认为多模态推理的进展是子技能间平衡的转移,而非整体能力提升,呼吁超越单一准确率评分。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。