arXiv cs.AI· Dheeraj Varghese, Anna Vettoruzzo, Walter Simoncini, Michelle Lorena Acevedo Callejas, Mohammad Mahdi Derakhshani, Kristof Meding, Joaquin Vanschoren, Cees G. M. Snoek·· 10 天前AI 评分30
PlaySuite：面向交互式视觉智能的大规模基准测试
PlaySuite: A Large-Scale Benchmark for Interactive Visual Intelligence
AI 导读
研究者推出 PlaySuite，一个覆盖 5K 余款开源视频游戏的大规模基准，用于评估交互式视觉智能，游戏来自 PyWeek 等渠道，涵盖 Pygame、HTML5、Godot、Unity 等引擎。
正文 · AI 翻译
摘要：多模态基础模型的最新进展在静态感知与推理基准上取得了强劲表现，但此类评估在很大程度上忽略了智能的一个核心方面：在动态环境中长时间跨度内胜任地行动。我们提出 PlaySuite，一个大规模基准，用于评估交互式视觉智能，涵盖从 PyWeek 和 this http URL 中精选的 5K 余款开源视频游戏。这些独立游戏跨越多种类型和引擎，包括 Pygame、HTML5、Godot 和 Unity，对当前模型而言大多处于分布之外，从而降低了通过检索记忆中的攻略或网络规模训练产物来取得成功的可能性。为实现跨异构游戏的可扩展评估，我们开发了一个针对 HPC 集群优化的统一闭环交互框架，以及一个 Video-LLM-as-a-judge 协议，将可观察的游戏里程碑映射到标准化进度等级。我们评估了十四个近期开放模型，涵盖视觉语言模型、计算机使用代理和视觉语言动作模型。我们的结果提供了感知-行动差距的有力证据：尽管具备强大的推理能力，当前模型仍难以取得持续进展，并在空间定位、动作执行和自我纠正方面反复出现失败。PlaySuite 提供了一个可复现且可扩展的测试平台，用于衡量从视觉感知到目标导向交互的进展，并为开发能够在动态视觉环境中行动、适应和泛化的模型奠定了基础。
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.07127 [cs.CV] |
| （或 arXiv:2610.07127v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07127 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Dheeraj Varghese [查看电子邮件]
[v1]
2026年10月5日星期一 17:52:40 UTC（17,373 KB）
来源：arXiv cs.AI · arxiv.org