arXiv cs.AI· Yijun Zhou, Minghao Shao, Ke Zhang, Renkai Yuan, Hongbo Yuan, Bin Hu, Bozhao Qian, Hongxia Shen, Yanhong Liu, Yuting Chen, Yuntao Shi, Zhongxuan Xu, Shuo Mao, Haijia Zhou, Zhendong Li, Tao Zhang, Chenggang Li, Yuxuan Wang, Zinan Zheng, Calvin Zhang, Jia Li, Heng Chang, Jie Feng·· 13 小时前AI 评分35
UnityBench-Mini3D：评估 LLM 智能体在 Unity 中进行 3D 游戏开发的能力
UnityBench-Mini3D: Evaluating LLM Agents for 3D Game Development in Unity
AI 导读
UnityBench-Mini3D 是一个包含 77 个项目级 Unity 任务的基准，按七类专家定义的技能和三个难度层级组织，用 1,178 条人工编写的留出里程碑测试在引擎内评估场景结构、组件配置与运行时行为。
正文 · AI 翻译
作者：Yijun Zhou、Minghao Shao、Ke Zhang、Renkai Yuan、Hongbo Yuan、Bin Hu、Bozhao Qian、Hongxia Shen、Yanhong Liu、Yuting Chen、Yuntao Shi、Zhongxuan Xu、Shuo Mao、Haijia Zhou、Zhendong Li、Tao Zhang、Chenggang Li、Yuxuan Wang、Zinan Zheng、Calvin Zhang、Jia Li、Heng Chang、Jie Feng
摘要：游戏开发对编码智能体提出的压力测试方式与一般软件工程不同：正确性取决于引擎 API、序列化场景状态与运行时行为之间的交互，而不仅仅是源代码本身。现有基准主要面向 Godot 等平台，且严重依赖 LLM 评判或粗粒度的任务级结果。我们提出 UnityBench-Mini3D，这是一个包含 77 个项目级 Unity 任务的基准，按专家定义的七类技能而非教程或游戏类型组织，并分为三个难度层级。每个任务将一个完整的 Unity 项目与自然语言需求配对，并使用 1,178 个留出、由人工编写的里程碑测试进行评估，覆盖场景结构、组件配置和运行时行为。这种引擎内评估提供确定性的部分得分，可定位失败，并能区分部分实现与完整解决方案，而无需依赖主观评判。在 21 个模型和 9 个编码框架上，简单任务的平均通过率达到 80.9%，但困难任务降至 35.2%，总体仅为 57.7%。UnityBench-Mini3D 提供了一个可复现、可诊断的测试平台，能够区分不同难度层级上的系统。
| 学科： | 软件工程（cs.SE）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.35980 [cs.SE] |
| （或 arXiv:2610.35980v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35980 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Minghao Shao [查看邮箱]
[v1]
2026年10月26日星期一 10:19:14 UTC（9,287 KB）
来源：arXiv cs.AI · arxiv.org