跳到正文
arXiv cs.AI· Xiaokang Ye, Siddhant Hitesh Mantri, Zimeng Chen, Edward Zhang, Zhaoxu Zheng, Yuanheng Li, Yizhao Chen, Tianyang Huang, Lianhui Qin·· 4 小时前AI 评分38

Code4Scene:评测编码智能体构建与编辑 3D 场景的新基准

Code4Scene: Benchmarking Coding Agents for Constructing and Editing 3D Scenes

AI 导读

Code4Scene 是一个包含 170 个 Unreal Engine 案例的基准,用于评测编码智能体在 3D 场景构建与编辑两类任务上的表现。在 83 个公开案例上测试 14 个编码智能体系统,构建与编辑能力高度相关但不可互换(Spearman ρ = 0.67),Claude Fable 5.1 构建领先,Gemini 3.8 Flash 编辑领先。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:前沿编程智能体如今能够编写并执行代码来创作 3D 环境,但它们是否能可靠地理解 3D 结构并精确控制场景状态,仍不明确。生成的 3D 场景是一种持久、可执行的产物:一个看似可信的渲染结果可能掩盖错误的空间关系、相互穿插的物体或非预期的修改。我们推出 Code4Scene,这是一个包含 170 个 Unreal Engine 案例的基准,这些案例由人工组装的场景构建而成,在共享的执行接口下,从两种互补的设置对编程智能体进行评估。构建任务测试基于开放式语言规范的场景级空间推理,其中许多实现方式都是有效的;编辑任务测试对场景状态的精确控制,智能体必须从参考图像中恢复目标场景,同时保留其他所有内容。Code4Scene 不评分代码或渲染视图,而是评估生成的原生引擎场景在任务完成度、产物完整性和静态物理有效性方面的表现,编辑任务还会与未公开的真实结果进行比较。在 83 个案例的公开集上,对 14 个编程智能体系统进行评估后发现,构建与编辑性能高度相关但不可互换(Spearman $\rho = 0.67$):Claude Fable 5.1 在构建任务上领先,Gemini 3.8 Flash 在编辑任务上领先。空间构图是所有智能体最弱的构建类别,而编辑仍然不够精确:最佳 Repair F1 仅为 0.562,并且 34.2% 的编辑虽然完全恢复了目标,却仍在场景其他位置引入了非预期更改。这些结果揭示了看似合理的 3D 生成与可靠的空间推理和状态控制之间的差距。项目网页见 this https URL。
Comments: 46 页,含附录。v2 将基准更新为 170 个案例并修订了评估结果
Subjects: 人工智能(cs.AI)
Cite as: arXiv:2609.36777 [cs.AI]
  (或 arXiv:2609.36777v2 [cs.AI] 查看此版本)
  https://doi.org/10.48550/arXiv.2609.36777

由 DataCite 颁发的 arXiv DOI

Submission history

来自:Xiaokang Ye [查看邮箱]
[v1] 2026 年 9 月 29 日星期二 05:49:37 UTC(44,753 KB)
[v2] 2026 年 11 月 17 日星期二 08:28:07 UTC(59,336 KB)

来源:arXiv cs.AI · arxiv.org