打造智能机器人需要海量数据，这些数据从哪来？
🤖Building Smart Robots Requires Massive Data. Where Do We Get It?
具身智能正面临严重的数据缺口：全球高质量真实物理交互数据仅约 50 万小时，不足训练基础 LLM 数据的 1/20000。Robbyant 发现 VLA 模型预训练数据从 3000 小时扩至 20000 小时时，下游任务成功率大幅提升且未见饱和，其第二代模型已扩至 60000 小时。机器人数据主要分为人类数据（网络视频、第一人称视角、UMI、动捕）与机器人数据（遥操作、仿真合成）两类。
机器人眼下在中国炙手可热。国内机器人新锐宇树科技已经上市，智元机器人也紧随其后。在近期于北京举行的世界人形机器人运动会上——该赛事被称为“机器人奥运会”——一台人形机器人以8.64秒跑完100米，打破了尤塞恩·博尔特的百米世界纪录。机器人的性能进步明显：去年它们还只会跳跃和后空翻，今年已经能打网球和乒乓球。
越来越多的机器人正被部署到日常公共服务中，例如咖啡店、药店和城市交通管理。在这一阶段，它们的运行环境是固定布局，任务重复、物体预先定义。（的CoreMatter通讯就中国机器人的部署写了一篇很棒的综述。）
话虽如此，机器人在身体活动方面仍远不能与人类匹敌。它们难以处理各种基本的现实世界任务。它们需要一个通用大脑。
中国投资者已经向承诺打造这一大脑的本土初创公司投入了大量资金。据中国数据提供商IT桔子的数据，2023年1月至2026年8月间，投入机器人大脑公司（即具身智能公司）的资金超过634亿元人民币（94亿美元）。
这些公司一旦获得新资金，就需要扩大研发预算，以推进驱动指数级增长的关键技术：人才、算力、硬件，以及最重要的——数据。
大语言模型之所以表现如此出色，主要原因在于海量的无监督数据，涵盖从经典文学、学术论文到互联网论坛的各类内容。数据越多，模型表现越好。
具身智能也开始证明其缩放定律。例如，蚂蚁集团内部孵化的机器人初创公司灵波科技发现，当把视觉-语言-动作（VLA）模型的预训练数据从3000小时扩展到20000小时时，下游任务成功率大幅提升，且这一性能曲线没有饱和迹象。该团队在训练第二代模型时将数据集扩展到了60000小时。（披露：我在蚂蚁集团从事传播工作。）
但机器人数据的实际供给情况如何？我读过的几乎每一篇机器人文章和播客都强调，我们正面临数据缺口。中国媒体经常引用这样一句话：“全世界只产生了约50万小时高质量的真实世界物理交互数据——不到训练基础大语言模型所用数据的1/20000。”虽然我无法核实这一确切数字的原始出处，但我的大致估计是，我们距离数据充裕还差得很远。
主要数据类型
每一条机器人数据被称为一个episode（片段），指机器人完成某项特定任务，比如拿起一杯水，无论成功还是失败。虽然存储格式各异，但一个episode通常包括轨迹（事件时间线）、观测（图像、点云、力反馈等传感器数据）、机器人状态、所采取的动作以及相关元数据。
在思考机器人究竟需要什么数据时，Wing Venture Capital合伙人Tanay Jaipuria在其通讯中提出了一个框架，名为机器人领域的数据金字塔，将其分为七个层级。如果你想深入了解，我强烈推荐他的文章。
我是 Tanay Jaipuria，Wing 的合伙人，这是一份关于科技行业商业的每周通讯。想通过邮件接收 Tanay's Newsletter，请在此免费订阅…
3 个月前 · 36 个赞 · 3 条评论 · Tanay Jaipuria
在我看来，它实际上归结为两大类：人类数据（通常称为无机器人数据）和机器人数据。人类数据简单来说就是通过人类而非机器人收集的数据，包括网络视频、第一视角影像、通用操作接口（UMI）和动作捕捉（mocap）。而机器人数据则涉及机器，包括通过遥操作实现的真实世界机器人操作，以及通过仿真生成的合成数据。
网络数据
互联网视频提供了最大的原始规模。网络上充斥着内容。仅 YouTube 每天就有超过 720,000 小时的视频上传。相比之下，Open X-Embodiment Dataset 这一最大的公开机器人数据集，仅包含 1,150 至 2,000 小时的实际机器人操作时间。
尽管规模如此之大，网络视频对当今的机器人仍有严重局限。专家警告说，它缺乏关键的物理信号，如扭矩、力、关节阻力和触觉。另一个障碍是具身差距。人体的运动方式与机器人不同，使得学到的技能难以在不同物理形态之间迁移。人手移动 5 英寸对机器人来说可能意味着完全不同的东西，尤其是在当今机器人设计千差万别的情况下。
尽管如此，鉴于网络视频的庞大数量，研究人员正在寻找巧妙的方法来提取价值。卡内基梅隆大学的研究人员最近提出了 VideoManip，这是一个不依赖专用设备或人工机器人演示的框架。相反，它可以接收任何一个人操作物体的视频，重建 3D 手部和物体运动，估计接触点，并将这些动作转化为机器人手可以执行的动作。
第一视角数据
第一视角数据在整个行业引起了日益高涨的兴趣。它由用头戴式摄像头拍摄的第一人称视角视频组成，模仿机器人实际感知周围环境的方式。在社交媒体上，你可以看到中国、印度和其他国家工厂工人收集第一视角数据的片段。
第一视角数据显著扩大了用于训练机器人的数据收集渠道。在美国，总部位于硅谷的机器人初创公司 Figure AI 最近发布了 Index，这是一个基于第一人称视角构建的、包含 1600 万个视频的大规模众包数据集。在中国，北京大学 DAGroup 于 2026 年 5 月发布了 HumanNet。这是一个 100 万小时、以人为中心的视频数据集，同时包含第一视角数据和第三人称数据。
来源：Recode China AI · recodechinaai.com