跳到正文
RadarAI· X:Artificial Analysis (@ArtificialAnlys)·· 5 天前AI 评分62

Artificial Analysis 发布 AA-3D 基准,评测模型构建交互式 3D 场景能力

AI 导读

Artificial Analysis 推出 AA-3D 基准,让 21 个模型作为智能体在离线沙箱中把书面简报转化为 three.js 网页,由超 1000 名评委盲评产出逾 10000 票的 Elo 排名。

正文 · AI 翻译

Artificial Analysis· @ArtificialAnlys · X·2026-10-13 07:40· 3 小时前AI 评分55

AI 导读

Artificial Analysis 推出 AA-3D 基准,让 21 个模型作为智能体在离线沙箱中把书面简报转化为 three.js 网页,由超 1000 名评委盲评产出逾 10000 票的 Elo 排名。

正文

我们已经衡量了智能。现在,是时候亲眼看看它了。

我们正式推出 AA-3D,这是我们全新的基准,用于衡量 AI 模型构建交互式 3D 场景的能力。每个模型都作为智能体在离线沙箱中工作,将一份书面简报转化为一个 three.js 网页。由人类评委小组在不知道场景由哪个模型生成的情况下,对基于同一份简报构建的两两场景进行对比。

AA-3D 详情:

➤ 55 份书面简报,涵盖七个领域,包括地标、机械、生物体、游戏和太空。每份简报都说明场景必须展示什么以及人们应如何与之交互,其余部分则留给模型自行发挥

➤ 每个模型最多有三个小时和 250 轮。其沙箱内有 Blender、Rapier 物理引擎、Python、一个用于测试自身工作的无头浏览器,以及一个包含材质、3D 模型和角色的 CC0 素材库

➤ 评委在投票前至少花 30 秒查看每个场景。每四次对比中就有一次是验证性检查

➤ 来自 1000 多名评委的逾 10000 张有效投票,按 Elo 对 21 个模型进行排名,并给出 95% 置信区间

主要发现:

➤ 有四个模型在榜首统计上并列:Claude Sonnet 5.5(1194)、Claude Opus 5.5(1190)、GPT-6 Astra(1165)和 Claude Fable 5.1(1131)。另外三个模型的 95% 置信区间与 Claude Sonnet 5.5 的重叠

➤ AA-3D Elo 随智能提升:Artificial Analysis 智能指数上每一点约值 18 Elo(皮尔逊相关系数 0.92)

➤ 排名最高的开放权重模型 Kimi K3(982)和 MiMo-V2.6-Pro(977)分别位列第 11 和第 12,落后第一名 200 多分

➤ 一个场景的成本在 0.20 美元到 32.08 美元之间,具体取决于模型。最便宜的 GPT-6 Luna 排名第八

更多结果、更多场景以及 AA-3D 的工作原理,请见下方推文串。

来源:Artificial Analysis · x.com

来源:RadarAI · aihot.news