从“看懂世界”到“预演下一步”:世界模型与 VLA 如何让机器人拥有真正的“具身大脑”?
上海张江的 VLA 已规模化上岗、世界模型刚进入试运营,二者融合已初步形成行业共识。蚂蚁灵波“灵波通用大脑”预训练适配 17 个机器人品牌、20 种构型,已搭载机器人在上海国大药房多家门店上岗;智元 9 月发布世界—动作模型 GE-Act 2.0,训练数据从 300 小时扩展至 3 万小时,陌生场景成功率提升约 2.6 倍。工信部与上海的标准体系建设指南均已将世界模型标准列项。
上海张江的 VLA 已规模化上岗、世界模型刚进入试运营,二者融合已初步形成行业共识。蚂蚁灵波“灵波通用大脑”预训练适配 17 个机器人品牌、20 种构型,已搭载机器人在上海国大药房多家门店上岗;智元 9 月发布世界—动作模型 GE-Act 2.0,训练数据从 300 小时扩展至 3 万小时,陌生场景成功率提升约 2.6 倍。工信部与上海的标准体系建设指南均已将世界模型标准列项。
智元“元苼生态发展计划”与北京大学、清华大学等20多所高校共建具身智能产教融合创新实践平台,投入超一千台精灵、灵犀、远征人形机器人及酷拓四足机器人,并提供AIMA开发平台,机器本体与软件会员权益总额达2亿元。该计划自4月17日发布以来已建联237所科研院校、合作500+家生态伙伴,未来五年将投入超20亿元专项资金。
宇树(Unitree)推出 UniUni 智能集群控制系统,可实现集群机器人动作与队形的快速、智能编排,并支持实时设备状态监控与安全制动等功能。官方同时向用户征询希望看到多少台机器人同台表演。
Mercedes-Benz 与 NVIDIA 宣布扩大战略合作,共同开发下一代驾驶辅助与自动驾驶系统,将 Mercedes-Benz 的 MB.OS 与 NVIDIA Hyperion 计算与传感器架构、Alpamayo Stack 全栈驾驶软件及 Halos 安全系统结合。
对比 9 家机器人数据供应商后,构建机器人数据业务的核心挑战被归结为三个商业问题:机器人数据能否在扣除高额硬件维护成本后达到大模型数据业务的利润率,评估与部署能否通过标准化降低获客成本并产生重复订单,以及资本回收效率。分析强调,持续利润而非一次性收入才是投资价值的核心。
亚马逊设备、Alexa 及 Leo 业务高级副总裁帕诺斯·帕奈在 TechCrunch Disrupt 大会上表示,Bee 等环境感知设备有望让用户逐渐减少对应用程序的依赖,未来一代人可能不再想着"给我一个能做这件事的应用",而是希望设备直接理解需求。他强调隐私保护是设计这类设备时必须考虑的问题,必须让用户掌握控制权,同时认为智能手机不会因此失去重要个人计算设备的地位。
Hao AI Lab 公布开源权重模型零样本评测结果:ORA 在 RoboTwin 上达到 69.2%,在 LIBERO-Pro 上达到 81.4%。带任务专属记忆的 RPent 在 RoboTwin 上配合 GPT-5.5/Opus-4.7 分别为 62.4%/58.4%,在 LIBERO-Pro 上配合 Opus-4.7 达到 82.4%。同一批案例,不同系统表现各异。
Hao AI Lab 提出让闭环在机器人上跑通需要三样东西:描述机器人和任务的提示词,用于感知、几何和运动的工具,以及上下文管理——让近期观测保持在视野内、较早的观测可在文件中取用。
Hao AI Lab 展示同一智能体可适配 ARX X5、ALOHA 和 Franka 三种机器人,通过机器人卡片描述各自的几何结构与控制方式。同一套测试框架即可运行这三种机器人,各自使用专属的卡片、工具和控制器。
SAM 3 可将图像中的像素位置转换为机器人可用的三维坐标:由 SAM 3 定位物体,深度信息把图像位置转成以米为单位的三维位置,再由计算工具处理向量与旋转数学。
Hao AI Lab 估算机器人任务求解的模型成本约为每个已解决案例 $0.30–$0.35,该估算采用 DeepSeek 非高峰时段 API 费率,并计入在 RoboTwin、LIBERO 和 LIBERO-Pro 上的失败尝试。40 个展示回合平均每个 $0.13。
Hao AI Lab 提出让闭环在机器人上跑通需要三样东西:描述机器人和任务的提示词、用于感知、几何和运动的工具,以及上下文管理——让近期观测保持在视野内,较早的观测可在文件中取用。
Hao AI Lab 展示同一智能体可适配 ARX X5、ALOHA 和 Franka 三种机器人,通过机器人卡片描述各自的几何结构和控制方式。同一套测试框架即可运行这三种机器人,使用各自专属的卡片、工具和控制器。
Hao AI Lab 演示了一条把像素转成机器人可用坐标的流程:SAM 3 负责定位物体,深度信息把图像位置换算成以米为单位的 3D 位置,再由一个计算工具处理向量与旋转数学。
Hao AI Lab 估算机器人任务求解的模型成本约为每个已解决案例 $0.30–$0.35,该估算采用 DeepSeek 非高峰时段 API 费率,并计入在 RoboTwin、LIBERO 和 LIBERO-Pro 上的失败尝试。40 个展示回合平均每个 $0.13。
Hao AI Lab 将 ORA 搬到真实机器人上,在低成本机械臂、固定 RGB-D 相机和腕部相机的初步运行中,DeepSeek-V4.1-Flash 通过抽屉把手打开抽屉,并把一根糖果棒放进盒子里。
前华为小艺多模态大模型负责人唐都钰创办观行数智,打造面向物理世界的主动式AI系统,让机器自主判断“该做什么、何时介入”。团队设计双模型协同架构 ProAgent,由 StreamingJev 持续读取事件流做轻量判断,Response Model 再规划回应方式,并建立评测体系 ProactiveXBench。
亚马逊设备与 Alexa 高级副总裁 Panos Panay 在 TechCrunch Disrupt 上表示,个人计算正走向"环境计算",未来一代用户不再说"给我那个 App",而是让设备主动理解需求。
Volvo Cars 宣布扩大与 NVIDIA 的合作,基于 NVIDIA Hyperion 传感器与计算架构、Halos OS 和 Alpamayo Stack 驾驶软件,为未来车型实现门到门的安全自动驾驶。该技术将率先搭载于下一代 Volvo 车型,并逐步引入 eyes-off 和 mind-off 驾驶。双方合作始于 2017 年,此次扩展旨在为 AI 汽车安全树立新标杆。
Google 发布面向机器人任务的 Gemini 4 Argon,主打用同一个模型完成机器人控制、虚拟练习世界构建和训练视频评估,并称其更擅长理解空间关系、编写控制代码和从物理角度解读视频。
Google 展示 Gemini 4 Argon 如何覆盖机器人控制、仿真训练与数据评估的完整流程,Spot 机器狗先在 MuJoCo 仿真中练习踩踏板扔易拉罐再上真机。
研究者提出 Screw Attention,一种将两个物体间关系建模为空间变换而非图边的 Transformer 层,每对 token 携带相对位姿与关节 screw,消息沿该关系传输至接收方坐标系,注意力分数只看到坐标系不变量。
研究团队提出 TacEx 框架,将触觉反馈引入基于认知不确定性的探索机制,通过按感官模态分解模型不确定性,把好奇心导向触觉通道。该方法让机器人在无任务奖励和专家演示下发现复杂接触动力学并学会抓取,其采集的交互密集数据集可支持离线学习 pick-and-place 策略,还能对预训练时未接触触觉的 VLA 模型进行后训练,显著提升下游性能且样本效率高。
V-JEPA Policy 在冻结的 V-JEPA 2.1 编码器潜空间上构建世界-动作模型,总参数 0.9B、可训练 0.6B,在 LIBERO、LIBERO-Plus 和 RoboCasa-GR1 上与代表性 WAM 及视觉-语言-动作基线表现相当。
ESTHER 是首个面向可穿戴自我中心立体的端到端度量 3D 手部重建模型,其立体几何、时序推理与输出表示均针对该信号设计。模型基于标定标注流程生成的伪标签训练,并据此构建了 ESTHER3D 基准,将大规模野外模型生成标签训练集与动捕真值度量测试集配对。实验显示其达到 SOTA 精度,对外部泛化更强,在缺失视角、丢帧及光照与运动模糊等极端条件下保持鲁棒,甚至坍缩为单目视角后仍能保留真实度量尺度。
RoboCousin 是一个基于 RoboTwin 2.0 的可扩展仿真数据生成平台,可将用户提供的物体图像转为带视觉与碰撞几何、语义物理元数据及自动抓取接触候选的仿真资产,并生成变化物体、背景、布局与语言指令的"数字表亲"。
EmbodiedSkills 是一个基于技能的智能体框架,通过世界动作模型为冻结的 VLA 策略增强后果感知的动作选择,在 MetaWorld MT50 上把成功率从 76.28% 提升到 78.64%,在 CLIPort 上从 33.94% 提升到 36.83%。
LifelongCrossNav 是一个面向未知多层室内环境的顺序多目标 ObjectNav 框架,通过持续维护共享稀疏 3D 语义体素记忆,增量累积几何结构、可通行状态与视觉语言特征,使后续目标查询无需重建地图即可复用场景信息。
研究者提出 Agentic Real2Sim 框架,用视觉语言智能体把真实世界物体-机器人交互录像转化为可仿真的情节孪生,并接入下游策略微调与评估。该框架在刚体操作、可变形物体交互和人形运动场景上完成评测,其智能体决策可由开放权重 VLM 后端驱动,成本仅为前沿模型的一小部分,转换成功率相当。项目站点含代码已公开。
研究团队提出 LIFT(Late Reactive Injection of Force for VLA Post-Training),一种力感知后训练框架,在预训练 VLA 策略旁嫁接反应式动作专家,通过因果力记忆与零初始化交叉注意力注入 6D 末端执行器力,并结合在线 DAgger 循环训练。
EgoWAM 是一个固定策略骨干、动作头与数据配比、仅改变世界预测目标的人类-机器人协同训练框架,对比 Pixel、DINO 与 3D motion flow 三种世界表示。在三个真实双臂任务上,基于 DINO 的预测将分布外物体与场景泛化能力最高提升 4 倍,3D flow 将域内性能提升 20-30%,而像素预测迁移效果较弱。
研究提出椭圆前向扩展和视野(field of view)两项通用技术,在保持最优性的前提下加速任意角度路径规划,并据此开发了静态环境的 Zeta* 与动态环境的 Zeta*-SIPP。Zeta* 结合前向扫描后性能与当前最优算法 Anya 相当,且更易扩展;Zeta*-SIPP 在基准测试中相比最优规划器 TO-AA-SIPP 实现超过一个数量级的加速。
研究者提出 Critical Interval MSE(CI-MSE),一种用于机器人模仿学习策略的离线验证指标:先用零样本智能体定位任务关键片段,仅在这些片段上计算误差,并施加动作对齐处理以更贴近实际 rollout 行为。
针对行为克隆策略从演示数据中学到不安全行为模式的问题,研究者提出 MoRE(Mode Redirection),通过短暂的"去克隆"步骤将临时模式分类器的重定向信号蒸馏进策略权重,配合 retain loss 保留目标模式能力,使独立策略以零推理时开销抑制不想要的行为模式。
研究者提出 TISED 分析框架,统一量化量化、剪枝、异步推理等有损高效推理技术对具身任务的影响。该框架揭示三类悖论效应:静态任务中优化可能延长端到端完成时间,动态任务中适度有损优化反而能提升任务成功率,且两种效应的单调性与最优位置会随硬件配置变化。
RoboGaze 是一个免训练的多智能体 VLM 评估器,通过将任务与场景接地、把子任务路由给维度专属专家并用 critic 核验,生成时间定位的诊断报告,覆盖 6 个维度和 30 种失败类型。
研究者提出 Reference-Anchored Reward Model(RARM),一种轻量视觉比较器,可将单条成功演示转化为稠密的进度感知奖励,训练仅用通用视频和对比式时序目标,无需机器人数据或任务专属奖励标注。
FiberTune 是一种训练时目标,通过在线动作探针从中间视觉 token 表示中筛选动作预测方向,并用冻结视觉教师做居中方向对齐与有效秩正则,保留教师结构化视觉残差且不增加推理开销。
研究者提出扭矩自适应模块 TAM,通过在底层控制器与机器人扭矩接口之间学习残差扭矩修正,让同一策略适配不同机器人,无需对策略本身做域随机化。TAM 仅依赖本体感知历史,同一权重可复用于关节目标、末端目标或直接扭矩等不同动作空间,并采用多机器人预训练加机器人特定微调、全程无需真机数据。
Instant-Fold 是一个面向可变形物体操作的上下文模仿学习框架,仅凭单次人类演示即可推断并执行多种操作模式,无需梯度更新。该方法先通过时序对比预训练学习形变感知视觉表征,再用以演示为条件的流匹配 Transformer 策略预测动作。框架完全在仿真中训练,可泛化到多种折叠模式并零样本迁移到真实环境,论文已被 CoRL 2026 接收。