arXiv cs.AI· Xiaoyu Chen, Lai Wei, Jin Wang, Xiangyu Zou, Ruochen Fan, Enze Luo, Mingzhe Yao, Jiahui Zhu, Yuhua Wen, Linghe Kong, Weiran Huang·· 10 天前AI 评分37
SWE-Game:编码智能体能否构建我们想要的游戏?
SWE-Game: Can Coding Agents Build the Games We Want?
AI 导读
SWE-Game 是一个包含 247 个任务的基准,基于 41 款可执行的 Godot 参考游戏,覆盖 2D 和 3D 的 13 个玩法类别,涵盖从需求简报生成游戏、按设计文档实现、骨架补全、83 个注入故障修复到 Godot 转 Unity 移植五类任务。
正文 · AI 翻译
作者:Xiaoyu Chen、Lai Wei、Jin Wang、Xiangyu Zou、Ruochen Fan、Enze Luo、Mingzhe Yao、Jiahui Zhu、Yuhua Wen、Linghe Kong、Weiran Huang
摘要:我们提出了 SWE-Game,这是一个包含 247 项任务的基准,基于 41 个可执行的参考 Godot 游戏,涵盖 2D 和 3D 中的 13 个玩法类别。五种任务类型涵盖了从简要说明进行开发、根据游戏设计文档进行实现、骨架补全、修复 83 个注入故障案例,以及 Godot 到 Unity 的移植。参考资料规定了预期的玩法,而共享的插桩接口让评估方拥有的驱动器和探针能够执行动作并观察独立实现的游戏。评估结合了引擎状态检查、经认证的参考输入回放,以及智能体编写的功能演示,以评估机制正确性、所展示的可玩性,以及修复后的行为恢复与保持。针对具体游戏的视觉语言评分标准则单独评估呈现效果。在六个模型中,Opus5 在所有五种任务类型中取得了最高的总体得分。在三个构建任务中,最佳总体得分仍低于 100 分中的 60 分,其中 Brief-to-Game 达到 50.38。对已审核提交内容的分析发现,需求遗漏和玩法逻辑错误是主要的实现问题。在来自 100 个智能体构建游戏的人工标注行为上,可执行检查达到了 92.59% 的平衡准确率,而基于视频的 VLM 评判器为 78.41%。基于评分标准的视觉得分与 200 个游戏片段的人工评分之间的 Spearman 相关系数达到 0.829。总之,这些结果刻画了当前智能体在游戏开发活动中的能力,并支持将运行时证据与视觉评估相结合。
| 学科: | 人工智能(cs.AI) |
| 引用为: | arXiv:2609.33678 [cs.AI] |
| (或使用 arXiv:2609.33678v3 [cs.AI] 查看此版本) | |
| https://doi.org/10.48550/arXiv.2609.33678 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Xiaoyu Chen [查看电子邮件]
[v1]
2026年9月27日星期日 15:38:20 UTC(2,961 KB)
[v2]
2026年10月6日星期二 07:03:14 UTC(2,961 KB)
[v3]
2026年10月7日星期三 14:37:28 UTC(2,961 KB)
来源:arXiv cs.AI · arxiv.org