OpenAI 的 Astra 模型为何让机器人研究者感到震惊

9月3日，OpenAI 发布了首个 GPT-6 模型：Astra。一如既往，该公司将其新发布描述为“世界上最智能、最对齐的模型”。但 OpenAI 不只是列出了惯常的编程和智能体基准测试。它还声称Astra 在控制计算机方面显著优于之前的 LLM。“你能在计算机上做的任何事，Astra 都能为你做。而且很快。”

OpenAI 发布了 Astra 流畅完成各种计算机任务的视频，从在文字处理软件中格式化法律文件到浏览得克萨斯州 DMV 网站。在这些演示中，有一类格外突出：3D 建模。OpenAI 展示了 Astra 制作的房屋、电路板、电子游戏世界和汽车变速箱的模型。

这种空间推理能力的跃升引出了一个问题：Astra 是否可能擅长机器人技术？答案是响亮的肯定。在接下来一周一条疯传的 Twitter 帖子中，OpenAI 机器人部门员工 Thijs Simonian 为 Astra 配备了一只廉价机械臂和一组画笔，让它根据参考图像绘制金门大桥。经过五次迭代，结果好得惊人。

Simonian 并不是唯一注意到这一技能的人。自 Astra 发布以来，互联网上充斥着该模型完成各种机器人任务的演示：Astra 抓取和放置机器人积木，Astra 切黄瓜，Astra 在仿真中解魔方，甚至 Astra 在停车场开车。

事实上，Astra 在控制机器人方面如此出色，以至于它一度成为RoboDojo 基准测试上评分最高的机器人控制模型，领先于 Physical Intelligence 的 π_0.5 和 Allen Institute for AI 的 MolmoAct2 等专业机器人模型。1与之前的通用 LLM 不同，Astra 似乎擅长直接控制机器人，指定夹爪完成任务所需导航到的确切位置，而不只是给出必须由低级机器人模型执行的高层指令。

目前 Astra 的能力有很大的局限。例如，它必须一次暂停数秒来思考下一步动作——对于完成大多数机器人任务来说太慢了。但 Astra 近期的表现让机器人专家们感到震惊。“目前它还不是很有用，”耶鲁大学博士生 Haoxiang You 说。但他说，OpenAI 新模型的这些能力“有点让人震惊”。

一些研究人员认为，OpenAI 和 Anthropic 的模型可能变得足够好，从而完全取代专业机器人模型。“我觉得完全有可能用一个大型模型同时做到非常好的推理和非常好的动作输出，”苏黎世联邦理工学院博士生 Chong Zhang 告诉我。

其他人则更为怀疑。普林斯顿大学博士生沈泽宇在接受采访时表示，Astra 不会“直接接管一切”机器人领域。Astra 太慢，对环境中的突然变化反应不够灵敏。Astra 的体积也太大，无法在机器人上运行，因此机器人可能仍然需要一个小的本地模型，以防互联网连接中断。

无论 Astra 类型的模型最终是否直接控制机器人，它们对当今的机器人开发都很有用。我预计机器人专家会使用 Astra 来生成新的仿真环境和训练数据。所有这些都可能显著加速机器人技术的进步。

使用 LLM 控制机器人并不是一个新想法。事实上，它比 ChatGPT 还要早。

2022 年 4 月，谷歌的研究人员发布了一个名为 SayCan 的系统，探索了如何将 LLM 应用于机器人技术。研究人员意识到，LLM 可以将复杂的机器人任务分解为一系列小步骤。例如，LLM 可以识别出，为了清理洒出的液体，机器人首先需要“获取一块抹布”并“导航到洒出液体的位置”。LLM 对世界的广泛知识将帮助它做出更好的决策；例如，它会知道餐垫不太适合当抹布用。

然而，当时 LLM 无法直接控制机器人。需要其他软件将“拿起一块抹布”这个子任务转化为一系列真正能拿起抹布的动作。

事实证明，这个生成运动轨迹的较低层级挑战——有时被称为灵巧性问题——才是解决现实世界中许多任务的更大瓶颈。虽然 LLM 作为 “系统二” 规划器似乎很有用，但尚不清楚它们能否成为一个能够灵巧控制机器人的优秀“系统一”。2

第二年，谷歌的研究人员找到了一种实现这一目标的方法。研究人员采用了一个现有的具有视觉能力的 LLM，并在 130,000 个机器人演示上进一步训练它，从而制作出他们所谓的视觉-语言-动作（VLA）模型。也就是说，他们训练该系统接收文本提示和来自机器人摄像头的图像，并输出一串数字：机器人手臂末端夹爪的位置和旋转。（更多信息请参阅 Tim Lee 在 Understanding AI 上的 VLA 解释文章。）

第一个 VLA，RT-2，有多个版本，分别基于不同规模的 LLM 训练而成，参数从 50 亿到 550 亿不等。最大的版本能力最强，但必须在机器人外部的四块 AI 芯片上运行。RT-2 展现出了各种涌现能力，并且泛化得相当好。但最大的版本每秒只能输出一到三次单条命令，对于许多要求高的操作任务来说太慢了。

后来的 VLA 版本变得更小、更快。Physical Intelligence 的第一个 VLA，π₀，输出一秒的动作块只需 73 毫秒——而且只有 33 亿个参数。如今广泛使用的最大 VLA 也只有约 150 亿个参数，远少于像 GPT-6 Astra 这样估计有数万亿参数的模型。

因此，构成 VLA 骨干的小型 LLM 并不具备 GPT-6 Astra 等前沿 LLM 那样的通用鲁棒性和适应性。3由于它们是在大量真实世界数据上训练的，VLA 可以生成看似合理的动作轨迹。但它们未必能进行长时间跨度的规划，也未必能泛化到新环境。

对于机器人当前执行的许多任务来说，这没什么问题——搬运周转箱或折叠包裹并不需要复杂的规划。但要打造通用机器人，你需要一个能够应对混乱开放世界场景的模型。

到目前为止，我一直在讨论一种可能性：通用模型可能在低层动作上变得足够出色，从而取代专用机器人模型。另一种可能性是，如今的专用机器人模型会随着时间推移变得更加通用。这正是 Generalist 和 Skild 等初创公司的愿景，两家公司都在 8 月展示了能够仅凭单次人类演示完成任务的模型，这种能力被称为上下文学习。

这两个模型还展现出一定程度的物理直觉。例如，当 Generalist 的 GEN-1.5 模型被要求把一块积木放进一个被纸盖住的碗里时，GEN-1.5 在没有被直接要求的情况下移开了那张纸。

这一进展令人兴奋；Generalist 的公告视频中显示，当模型展现出某种新的泛化能力时，员工们激动不已。

对 Generalist 的 CEO Pete Florence 来说，这一结果证明了公司将 LLM 训练与大量物理数据相结合的方法是正确的。4他告诉我，过去几年里，“一直有这种感觉，哎呀，是不是所有的泛化都来自语言模型那类东西，而我们只是在这个很薄的层上做文章？”但 GEN-1.5 的结果“洗刷掉了”这种担忧。他说，“感觉我们现在确实从物理数据中获得了真正的、很难忽视的泛化水平”。

与此同时，Anthropic 一直在研究其旗舰模型在控制模型方面表现如何。

7 月，该公司发现Claude 相当擅长编写 Python 脚本来控制机器人。例如，Claude 能够为一台四足机器人编程，使其缓慢穿过迷宫。

但 Claude 及其通用型竞争对手尚不擅长直接控制机器人。在 Anthropic 使用LIBERO（一个著名的机械臂操作任务基准）进行的测试中，表现最好的通用 LLM 是Claude Mythos Preview，成功率为 5.5%。相比之下，专用 VLA 模型 MolmoAct 的得分为 86%。通用 LLM 在控制不稳定的类人机器人或四足机器人方面表现更差。

尽管如此，Anthropic 发现通用模型正随着时间的推移而不断进步。“在我们测试的人形和四足机器人形态上，较新的模型在直接操作和高级策略控制方面都取得了实实在在的进步，”他们写道。

而且，一旦 LLM 能够直接完成某项任务，它就具备了相当强的泛化能力。在 Generalist 发布其新模型的第二天，独立机器人评估机构 Robocurve 发现，Opus 5 也能通过直接控制机器人，把一块积木放进一个被纸盖住的碗里——不过它花了七分钟，而专用模型只需七秒。

GPT-6 Astra 在 Anthropic 的报告发布约两个月后推出，其在机器人技术方面的能力远超其前代模型。

Robocurve 联合创始人 Jay Chooi 告诉我，Astra 问世时他看到了“巨大的飞跃”。在一项涉及将积木放入碗中的任务上，成功率从 Fable 5 的 5% 跃升至 Astra 的 95%。

不只是 Robocurve。我们在引言中看到的 Twitter 演示表明，Astra 能够直接解决各种机器人任务，包括几乎可以肯定不在 Astra 训练数据中的任务。5

这引发了人们的猜测：通用 LLM 可能很快就会强大到足以自行控制已部署的机器人，而无需更小的 VLA 类型模型的帮助。

9 月 7 日，麻省理工学院教授 Phillip Isola 发表了一篇文章，认为 LLM 可能成为“机器人使用智能体”。正如 GPT 和 Claude 已被训练使用工具直接控制计算机一样，模型可能很快就会直接操控机器人。Isola 认为，这将极大地加快机器人技术进展的速度和扩散，因为这些模型的每一次升级都会同时提升许多机器人的能力。

目前，Astra 仍然太慢，而且不太擅长处理复杂的硬件，比如手。但推理速度正在大幅提升：Robocurve 发现，LLM 的最大 token 生成速度每年提升两到七倍，因此到本十年末，我们可能看到 LLM 达到 VLA 类型的速度。6 而且 LLM 在这一领域的能力一直在快速提升。

然而，即使这些预测成立，我认为 LLM 也不会完全取代像 VLA 这样的系统一模型，至少在中短期内不会。更有可能的是，像 Astra 这样的 LLM 充当有效的编排者——在精神上类似于 SayCan——而不直接控制机器人。这有几个原因。

首先，开发者几乎肯定希望机器人上直接有一个机器人模型，以防互联网中断。如今的 Astra 太大，无法在能装进机器人的 GPU 上运行，而 OpenAI 似乎也不太可能让其权重被直接下载。

“基于行业经验，我强烈认为机器人大脑需要在边缘运行。大多数制造工厂的互联网都很差，大多数仓库以及你想要部署机器人的大多数地方也是如此，”Standard Bots 的 AI 解决方案负责人 Leif Jentoft 告诉我。

一种可能性是混合方案：一个大型远程模型加上一个直接运行在机器人上的小型模型。如果网络连接中断，机载模型或许能够完成当前任务并进入安全位置，直到连接恢复。

其次，当前 LLM 的能力似乎仍然是对 VLA 的补充，而非替代。Astra 显然具备足够的空间能力，可以暴力完成一些操作任务，但它似乎缺乏专业机器人模型那种直觉性的灵巧能力。

例如，虽然 Astra 曾短暂成为 RoboDojo 排行榜上排名第一的机器人模型，但其性能与专业机器人模型的性能几乎没有相关性。Astra 擅长需要语义知识的物理基础任务，但在需要精确协调或复杂动作的任务上表现不佳。VLA 在精确任务上相对更好，在语义任务上则更差。

因此，将 Astra 与 VLA 结合可以兼得两者之长。与中国初创公司 Galbot 相关的研究人员发现，将 Astra 与 VLA π_0.5 结合的混合系统在 RoboDojo 任务上的表现优于单独使用 Astra 或 π_0.5。

这种情况未来可能会改变。我们知道 OpenAI 正在大力投资机器人领域：它正在湾区租赁一处 202,400 平方英尺的设施用于机器人运营，并且根据最近的一份招聘信息，它拥有“用于正在进行的数据采集操作的机器人工作单元”。未来版本的 Astra 可能会在足够多的机器人数据上训练，从而能够完成目前由 VLA 完成的任务。

但如果继续看到分层分工，我也不会感到意外。毕竟，大脑也有分工：前额叶皮层在高层规划中发挥主要作用，而小脑则帮助协调精确动作。而且这也会遵循 Google 开创的先例。最近的Gemini Robotics 发布包含了三个模型：两个 VLA 和一个基于 Gemini 3.5 Flash 的更高层“具身推理模型”。

也有可能通用 LLM 最终并不会真正控制生产中的机器人，至少不会直接控制。还有其他机器人范式，比如世界模型，它们对基于文本的能力依赖没那么重。不过，即使如此，Astra 仍可能通过创建有价值的训练数据，帮助训练下一代机器人模型。

正如我在 9 月的Understanding AI中所报道的，机器人公司迫切需要数据来训练有效的机器人。

一种策略是收集数百万次人类操控机器人完成任务的演示。这很容易训练进模型，但收集成本非常高。

相比之下，在计算机模拟中训练机器人要便宜得多，也更容易扩展——前提是你已经拥有这些环境。开发者可以在模拟引擎中用程序生成的轨迹训练机器人，或者让机器人通过试错自行训练。

然而，制造新的模拟环境来训练机器人仍然非常昂贵。从历史上看，模拟需要大量的人工工作，人类必须为模拟制作资产并指定物理属性，例如每个物体的摩擦力。已经有一些以编程方式制作资产的方法，但要从头开始制作一个全新的环境是很困难的，尤其是要镜像真实世界环境的环境。

Astra 创造 3D 模型的不可思议的能力可能足以创建训练机器人所需的数百万个模拟世界。

而 Astra 解决机器人任务的强大能力——无论是像我们上面看到的那样直接解决，还是使用 Python 编写机器人策略——都可以帮助创建用于训练 VLA 的数据。我与一群研究人员进行了交谈，他们发表了一篇名为 EmbodiedSWE 的论文。他们制作了一个包含困难日常任务的基准测试，并发现编码模型可以编写 Python 代码来解决这些任务（VLA 在这方面表现不佳）。从 Opus 5 编码的轨迹中，他们能够微调 π_0.5，使其在十次试验中有两次成功拧下真实台灯中的灯泡。

Waymo 最初是一个确定性软件系统。这使 Waymo 能够积累所需的专业知识和训练数据，最终训练出一个模型来驾驶汽车。也许 Astra 将使未来的机器人项目能够在其他机器人领域快速完成同样的过程。

1

这种比较对 GPT-6 Astra 来说可能过于慷慨，原因有几个（其中一些我将在后面介绍）。首先，来自 顶级初创公司 的许多最佳机器人策略无法供评估者研究——如果例如 π_0.7 表现更好，我不会感到惊讶。其次，Astra 的官方基准测试结果仅限于模拟环境，因为在它损坏了 RoboDojo 的一些硬件后，真实世界测试停止了。第三，Astra 的性能此后已被专门的机器人模型超越：它目前排名第七，尽管排名第一的模型是一个可以访问 π_0.5 的 LLM 智能体。

2

控制机器人的软件 通常 被认为 具有响应时间的层次结构。规划是一项高级任务，不需要快速响应。灵巧性处于中间位置——理想的命令速率大约在每秒一次到一百次之间。再往下是接收关节位置并将其转换为实际电机命令的软件。该软件需要每秒运行数百到数千次，有时被称为“system zero”。

3

其他承担与 VLA 相同角色的模型架构也是如此，例如世界动作模型。为了能够实时高效运行，它们的参数量仍然相对较少。

4

与 RT-2 或 Physical Intelligence 的模型不同，Generalist 不将其模型称为 VLA，并且主要从头开始预训练模型。但除了该公司收集的数十万小时的 UMI 数据 之外，几乎肯定还有文本和网络数据。

5

不过 Twitter 上确实存在一些选择偏差。普林斯顿博士生 Shen 告诉我，他的导师曾尝试用 Astra 叠一件衬衫过夜，但机器人速度非常慢，把 T 恤揉成一团而不是叠好，还把机器人的手臂移动到了“病态状态”。不过，那个实验并没有被发布到 Twitter 上。

6

甚至可能更快。Robocurve 发现，在 Artificial Analysis 基准测试中表现与 Fable 相当的模型，其最大 token 生成速度每个月翻一番。Chooi 表示，如果这个速度保持下去，LLM 可能在三四个月内赶上当前 VLA 的速度。不过，我怀疑这个速度能否保持。

暂无帖子