arXiv cs.AI· Shuo Wen, Beixi Du, Edwin Meriaux, Junming Shi, Chloe Si, David Meger, Doina Precup, Gregory Dudek·· 13 小时前AI 评分35
The Prestige：用魔术表演评测 VLM 的认知视觉推理能力
The Prestige: Benchmarking Cognitive Visual Reasoning using Magic Tricks
AI 导读
研究者推出视频理解基准 The Prestige，用专业魔术表演中的误导设计考察 VLM 追踪事件、解释意外结果的能力，题目涵盖时序与因果理解及对抗性问题鲁棒性。评测显示最强开源与闭源 VLM 均与人类表现存在明显差距，且人类与自动评分之间存在系统性偏差。消融实验还发现，模型在无法独立生成正确解释时仍能选对多选题选项。
正文 · AI 翻译
摘要：我们推出 The Prestige，一个视频理解基准，通过专业魔术表演来考察认知视觉推理能力，其中刻意的误导会挑战模型追踪事件并解释意外结果。该基准包含开放式问题，涵盖从时序与因果理解到对对抗性问题的鲁棒性。对领先的开源与专有 VLM 的评估显示，即使是最强模型与人类表现之间仍存在显著差距。我们还发现人工评分与自动评分之间存在系统性差异，并识别出模型反复出现的失败模式。消融实验进一步表明，即使模型无法独立生成正确解释，也能选出正确的多项选择答案，这促使我们进一步研究问题格式。总之，这些发现凸显了 VLM 推理及其评估两方面的局限，强调了需要更可靠的视频理解模型和更严格的基准。
| 评论： | 第40届神经信息处理系统大会（NeurIPS 2026）。评估与数据集专题 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.38103 [cs.CV] |
| （或 arXiv:2610.38103v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.38103 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shuo Wen [查看邮箱]
[v1]
2026年10月28日星期三 00:41:06 UTC（8,484 KB）
来源：arXiv cs.AI · arxiv.org