arXiv cs.AI· Krish Bakshi·· 9 天前AI 评分28
WorldBench:评估 LLM 生成 Three.js 体素世界的能力
WorldBench: Evaluating LLMs on Three.js Voxel World Generation
AI 导读
研究者提出 WorldBench,一个面向 LLM 生成 Three.js 体素世界的基准与评判器,通过让评判器实际运行世界、操控时钟、环绕观察并派导航智能体取景,同时对照源码核验。
正文 · AI 翻译
摘要:大型语言模型如今能够以代码形式编写完整、可交互的 3D 世界,但自动为这些世界评分并不可靠。现有的评判方法只采用输出的一种视角:视觉语言模型对少量渲染快照打分,或语言模型阅读源代码。在由五个前沿模型编写的世界中,我们发现这两种视角在 32% 的必需项上存在分歧,主要是没有任何画面展示的代码,而且固定视角会遗漏较小的近景内容。我们提出 WorldBench,一个面向开放式、由 LLM 生成的 this http URL 世界的基准与评判器。从一个描述漂浮体素岛屿(包含十个生物群系、物理系统以及昼夜与季节循环)的提示出发,评判器会探索运行中的世界,控制其时钟、环绕观察,并派遣导航智能体为每个生物群系取景,同时阅读代码以核对其所见内容。两个通道都不能单独被信任:代码引用只有在其为源代码中确实包含的文本时才被采信,而视觉断言在属性可测量时会与实测像素进行核对。一项通过构造移除特征的变异测试表明,仅基于代码的评判会给五个被移除特征中的四个打满分,因为它们的代码仍留在文件中。我们的评判器将被移除特征上保留的分数削减了三分之一(从 7.11 分中的 5.44 降至 3.55),而它仍然给分的部分主要是存在但从未运行的代码。我们评估了五个前沿模型:Claude Fable 5.1、GPT-6 Astra、Kimi K3、Grok 4.7 和 Gemini 3.1 Pro。代码、提示、测试和评判器配置可在 this https URL 获取
| 主题: | 图形学(cs.GR);人工智能(cs.AI);计算与语言(cs.CL);计算机视觉与模式识别(cs.CV);软件工程(cs.SE) |
| 引用为: | arXiv:2610.10622 [cs.GR] |
| (或本版本的 arXiv:2610.10622v1 [cs.GR]) | |
| https://doi.org/10.48550/arXiv.2610.10622 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Krish Bakshi [查看电子邮件]
[v1]
2026 年 10 月 7 日星期三 08:52:08 UTC(2,743 KB)
来源:arXiv cs.AI · arxiv.org