Artificial Analysis 发布 AA-Robotics v0.1 基准，GPT-6 Astra 居首

Artificial Analysis· @ArtificialAnlys · X·2026-10-15 06:01· 1 小时前AI 评分61

AI 导读

Artificial Analysis 发布 AA-Robotics v0.1 研究预览，测试前沿语言模型控制 6 轴机械臂在物理世界理解、规划和执行的能力，首批公布八个任务的结果。

正文

欢迎来到具身智能时代。

我们推出 AA-Robotics v0.1，这是我们的研究预览版，用于衡量前沿语言模型在物理世界中理解、规划和行动的表现。在 v0.1 中，每个模型被赋予对一台 6 轴机械臂（5 个关节和一个夹爪）的控制权，以及一个简单的目标。我们今天发布首批八个任务的结果。

我们发现，在编码智能体框架中的前沿语言模型最近已经能够直接操控机械臂完成简单任务。如今，它们对于任何形式的生产使用来说都太慢、太贵——比人类基线差了近两个数量级。我们预计这种情况会迅速改变。

GPT-6 Astra 在 AA-Robotics v0.1 中排名第一，紧随其后的是 GPT-6.1 Sol、Gemini 4 Argon 和 Claude Opus 5.5。

AA-Robotics v0.1 详情：

➤ 我们的首批八个任务测试了一系列能力：控制与灵巧性（精确抓取和物体操作）、空间推理（物体之间如何相互作用）以及适应性（模型如何应对意外情况）

➤ 模型只获得简要指令：如何连接到机械臂（通过一个简单的 HTTP API）、机械臂的名称以及如何提交尝试。它们可以通过四个摄像头查看场景，并编写和运行代码来规划并发送动作

➤ 一旦模型提交尝试，其最终状态会根据任务的通过标准进行评分。通过得 100 分；未完成的尝试获得部分分数。所有尝试均为零样本

主要发现：

➤ GPT 系列位居榜首：GPT-6 Astra 得分 69，领先于 GPT-6.1 Sol 的 65 分和 Gemini 4 Argon 的 55 分。Claude Opus 5.5（49）和 Claude Fable 5.1（46）落后

➤ 如今的模型在我们的任务上极其缓慢，完成每个桌面任务平均需要约 30 分钟

➤ 成本差异很大：GPT-6.1 Sol 最便宜，平均每个任务 1.93 美元；GPT-6 Astra 最贵，为 16.36 美元，是前者的八倍多

➤ 与人类相比，当今表现最好的前沿语言模型约慢 100 倍，成本约高 10 倍

更多结果、片段以及 AA-Robotics v0.1 的工作原理见下方推文