arXiv cs.CL· Chengfei Wu, Ronald Seoh, Bingxuan Li, Liqiang Zhang, Fengrong Han, Dan Goldwasser·· 2 天前AI 评分29
MagiC：评估多模态认知的视觉推理基准
MagiC: Evaluating Multimodal Cognition Toward Grounded Visual Reasoning
AI 导读
研究者推出 MagiC 基准，用于评估大视觉语言模型是否真正进行有依据的视觉推理，而非依赖表面模式与数据集偏差。该基准包含约 5,500 条弱监督 QA 样本和 900 条人工精标样本（含答案、推理依据与边界框标注），在四个维度上评测了 15 个 7B 至 70B 参数的视觉语言模型，并引入 MagiScore 与 StepSense 新指标。
正文 · AI 翻译
摘要：大型视觉语言模型的最新进展在视觉问答和多模态推理方面取得了令人瞩目的性能。然而，这些模型是否真正执行基于视觉的推理，还是依赖表面模式和数据集偏差，目前仍不清楚。在这项工作中，我们提出了 MagiC，一个旨在评估基于视觉的多模态认知的综合基准，不仅评估答案准确性，还评估逐步推理的质量及其与相关视觉证据的一致性。我们的基准包含约 5,500 个由强模型输出生成的弱监督问答示例，以及 900 个人工整理的具有细粒度标注的示例，包括答案、推理依据和边界框定位。我们评估了 15 个参数规模从 7B 到 70B 的视觉语言模型，涵盖四个维度：最终答案正确性、推理有效性、定位保真度和自我纠错能力。MagiC 还包含诊断设置，用于探究模型在对抗性视觉线索下的鲁棒性，并评估其内省式纠错能力。我们引入了 MagiScore 和 StepSense 等新指标，并提供全面分析，揭示当前基于视觉的推理方法中的关键局限和机遇。
| 评论： | AACL 2026 主会议 |
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2507.07297 [cs.CV] |
| （或使用 arXiv:2507.07297v2 [cs.CV] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2507.07297 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Chengfei Wu [查看电子邮件]
[v1]
2025年7月9日星期三 21:44:12 UTC（21,942 KB）
[v2]
2026年10月4日星期日 04:09:29 UTC（23,161 KB）
来源：arXiv cs.CL · arxiv.org