arXiv cs.CL· Vansh Bhatia, Mehdi Rezagholizadeh, Parsa Ashrafi Fashi, Igor Gilitschenski, Vikram Appia, Emad Barsoum·· 13 小时前AI 评分38
PRISM-BENCH：诊断超越最终答案准确率的多模态推理
PRISM-BENCH: Diagnosing Grounded and Faithful Multimodal Reasoning Beyond Final-Answer Accuracy
AI 导读
PRISM-BENCH 是一个包含 1,000 道专家精选问题的基准，覆盖五类推理任务，每题配有经人工标注与验证的理想推理轨迹。感知探针显示约 85% 的前沿模型失败源于感知错误，瓶颈在视觉 grounding；轨迹对齐可预测答案正确性（macro AUROC 0.66）。
正文 · AI 翻译
摘要：最终答案准确率只能说明视觉语言模型的答案是否正确，却无法说明其答案是否有图像依据、其陈述的推理是否反映了这些证据，也无法说明得出答案的代价。而这些恰恰是决定一个系统能否部署的关键属性。我们提出 PRISM-BENCH，这是一个包含 1,000 道专家精选问题的基准，覆盖五个代表性不足的推理类别，其中每个条目都附带一条由一位人工标注者撰写、并由另一位标注者验证的理想化推理轨迹。这些轨迹支持两项准确率无法提供的诊断。感知探针要求模型根据自己撰写的描述作答，它将约 85% 的前沿模型失败归因于感知错误，并将瓶颈定位在依据建立环节。轨迹对齐可预测全部 25 个受测系统的答案正确性（宏 AUROC 0.66），且在控制长度后依然成立，因此它衡量的是推理内容而非冗长度。我们进一步提出 CORE，一种考虑效率的指标，它使 24.2% 的模型对相对准确率发生排序变化，同时与响应长度不相关。在包括 GPT-5 和 Claude Opus 4.6 在内的 25 个开放与闭源系统中，最高准确率为 66.0%。在设有人类基线的四个类别上，最佳系统落后人类 18.4 个百分点，而近期前沿模型的提升集中在识别方面，而非空间依据。
| 评论： | 被接收为 NeurIPS 2026 面向真实世界部署的基于依据且忠实的视觉语言模型研讨会（VLM4RWD）海报。18 页，10 幅图，7 张表。数据集：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.36554 [cs.CV] |
| （或 arXiv:2610.36554v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36554 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Vansh Bhatia [查看邮箱]
[v1]
2026 年 10 月 27 日星期二 03:02:39 UTC（6,480 KB）
来源：arXiv cs.CL · arxiv.org