用前沿 AI 模型为机器人创建 SimReady 资产的 5 个步骤
NVIDIA 给出用前沿 AI 模型为机器人仿真创建 SimReady 资产的 5 步流程,基于 NVIDIA Omniverse 库,并遵循 SimReady Foundation 规范、由 NVIDIA 智能体技能引导。该流程用于把 CAD 资产转换为 OpenUSD 并完成验证,开发者需在测试机器人行为前配置和校验材质、碰撞几何、关节及其他物理属性。
NVIDIA 给出用前沿 AI 模型为机器人仿真创建 SimReady 资产的 5 步流程,基于 NVIDIA Omniverse 库,并遵循 SimReady Foundation 规范、由 NVIDIA 智能体技能引导。该流程用于把 CAD 资产转换为 OpenUSD 并完成验证,开发者需在测试机器人行为前配置和校验材质、碰撞几何、关节及其他物理属性。
Odyssey 发布基础世界模型 Odyssey-3,称其在 Physics-IQ 上创下新的 SOTA。该模型可驱动机器人、训练 AI 并生成交互式体验,今天即可免费体验。
Generalist 展示 GEN-1.5 连续装箱能力:把一个瓶子装进盒子,再装另一个瓶子,如此反复。相关细节见其博客文章。
Odyssey 发布其最强世界基础模型 Odyssey-3,并向公众开放免费研究预览。模型可从提示词构建环境,并实时预测人物移动或事件触发带来的变化,用户能以第一或第三人称走过场景,相机也可独立移动。
MIT Technology Review 指出,尽管 ChatGPT 和 Claude 背后的 AI 进展让外界期待人形机器人复刻人类动作,但许多研究者认为语言与图像智能难以应对物理世界的无限变化,通用人形机器人仍需全新路径。
Hugging Face CEO Clément Delangue 分享了一个可自制 Reachy Mini 舞蹈的 Hugging Face Space 入口。该 Space 允许用户自行生成 Reachy Mini 的舞蹈动作。
TAPDreamer 是一种针对世界动作模型的可迁移对抗补丁攻击,仅用公开编码器构造固定局部扰动,无需查询目标策略即可跨任务和动作架构迁移。
WAMJET 是一个加速世界动作模型(WAM)推理的智能体框架,通过为编码智能体提供可复用的优化指导与测量验证工具,实现最高 9.95 倍无损加速。该框架采用瓶颈驱动流程,由智能体分析推理、修改代码并迭代优化加速栈,实验覆盖六种 WAM、三种编码智能体和两种 GPU 架构。近似与硬件感知优化可进一步降低延迟,且成功率相当。
研究者提出 Completion Aware Guidance(CAG),一种免训练采样方法,引导世界动作模型(WAMs)生成能完成任务的动作,缓解"任务未完成的想象"问题。在 RoboTwin 2.0 子集上成功率从 64% 提升至 70%,零样本仿真中从 69% 提升至 75%,任务未完成想象从 79% 降至 40%。
研究团队发布 FineART 双臂操作数据集,含 40,543 条轨迹(1,718 小时)、533,913 个子任务,覆盖 151 项任务。
研究者提出因果语义世界动作模型 CSWAM,在 FastWAM 基础上引入基于 V-JEPA 2.1 的因果语义专家,从稀疏历史观测中学习语义状态变化与运动的未来演化,并通过因果注意力与视频、动作流共享上下文。
Guided Action Flow(GAF)通过从机器人任务 rollout 中学习一个紧凑的观测条件动作价值 critic,用其动作梯度引导逆向流采样,全程不更新已监督微调的 VLA 参数。
研究提出 support-conditioned control-sensitivity regularization,通过在被充分支持训练区域增强局部响应性,保留控制变化引起的潜在状态变化,解决学习动力学对控制不敏感、将无支持控制映射为类似已演示转移的潜在预测、从而抑制 OOD 信号的问题。
研究者提出 Residual Latent Action(RLA),可从 DINO 残差中学习,并据此构建 RLA-WM 世界模型,通过 flow matching 预测 RLA 值。
SimToolReal 通过程序化生成大量工具类物体基元并训练单一 RL 策略,实现测试时无需任何物体或任务特定训练的通用灵巧工具操作。该策略比此前的重定向和固定抓取方法性能高 37%,并达到针对特定目标物体和任务训练的专家 RL 策略水平。在 24 项任务、12 个物体实例、6 类工具的 120 次真实世界 rollout 中,SimToolReal 展现出强零样本泛化能力。
LHM-Humanoid 提出一种面向物理仿真人形机器人的长时程运动控制方法,可在单次无重置的连续 rollout 中反复完成走向物体、全身平衡抬起、绕过障碍搬运并放置到目标点的完整循环。
针对冻结的 VLA 策略可能选中局部安全但断绝后续安全完成路径的问题,研究者提出可行未来质量这一候选相关指标,并开发免训练、告警触发的重排序器 VICS-G。在六个 Safety-CHORES 设置中,VICS-G 将平均累计安全代价降低 1.9%-57.5%,成功率与策略采样差距在 2.5 个百分点以内,平均回合长度差距 0.82 步,且无需重新训练策略或在线 rollout。
Ego2World 是一个可执行基准,将第一视角烹饪视频转化为由图转移规则驱动的符号世界,基于 HD-EPIC 从视频标注中提取可复用转移规则,并在隐藏符号世界图中执行。评估时模拟器维护隐藏世界图,智能体仅凭局部观察和执行反馈在自身部分信念图上规划,无法观测真实世界状态。实验显示动作重叠分数会高估物理状态成功率,而持久信念记忆能提升任务完成率并减少重复视觉探索。
4D-HOF 是一个前馈框架,可从视觉基础模型生成的粗略手物状态出发,通过条件流匹配将其传输至交互流形,前馈式修正平移、旋转与对齐误差,重建 4D 手物交互。该方法在生成传输过程中直接以物理交互约束和观测到的 2D 证据进行测试时引导,无需重建后再做后处理优化。在域外基准上,4D-HOF 取得 SOTA 性能,重建更稳定准确,并能泛化到挑战性的野外场景。
DepthWorld 是一个基于 Stable Video Diffusion 的 3D 世界模型,通过空间隐变量分块联合预测多视角 RGB 与深度,且不改动预训练 VAE。
EgoLAP 是一个 VLA 预训练框架,通过共享的基于语言的动作思维链,联合学习人类与机器人轨迹,将运动意图表达为结构化、时间抽象的语言动作。在真实世界与仿真实验中,EgoLAP 达到 80.1% 的平均真实任务进度,相比其他动作表示提升 2.3 倍,运动级推理也优于子任务、物体框与视觉轨迹组合的推理格式。
研究团队推出 HygieneRoboBench,包含 134 个任务族、624 个实例,用于评估规划器如何依据接触历史识别卫生风险并在新接触事件后安全续接任务。
CropSentry 是一个低成本地面多机器人系统,通过两台自主机器人逐行检测叶片颜色与环境数据,经空间映射后传至主机器人,生成实时网页仪表盘展示作物健康状态。在 63 次观测实验中,作物健康分类总体准确率为 84.12%,其中健康植株 82.60%、营养缺乏植株 88%、患病植株 80%,10 次从机观测的无线通信成功率达 100%。
研究者提出微型神经策略(MNP),将进化策略(ES)与统计模型检测(SMC)验证结合用于策略搜索,大幅缩小神经网络规模而不牺牲安全性与鲁棒性。在 Cartpole 和 Quadrotor 任务上完成大规模训练与评估后,MNP 实现零样本 sim-to-real 迁移,内存占用仅 0.5 至 7.5 kB,可在微控制器上部署,实时推理抖动低于 25 ns,芯片空闲时间超过 97%。
研究者提出 VOMMI,一个将可携带 RGB 演示连接到 VLA 后训练的可携带演示采集与学习框架,通过离线轨迹重建与在线视觉-运动条件化实现,无需遥操作或额外传感硬件。
研究者提出 CoRP(Compressed Representation Policy),一个 48.9M 参数、不含视觉语言模型和视频生成先验的紧凑策略,在 LIBERO 上达到 97.0%,在 RoboTwin 2.0 Clean/Randomized 上达到 75.78%/73.36%,匹配规模大 40.9-163.6 倍的系统。
研究者提出自监督测试时自适应方法 SALT,利用上一动作块中未执行的"剩余轨迹"作为监督信号,无需干扰标注、专家动作或目标域演示即可在线更新 VLA 策略。在 LIBERO-10 上,SALT 将 SmolVLA 在五种持续视觉损坏下的平均成功率从 43.9% 提升至 53.2%,GR00T N1.7 从 58.7% 提升至 66.0%,并基本保持正常性能。
EigenDEXplore 通过沿人类手部数据导出的特征向量对独立关节空间噪声施加扰动,在不改变动作空间的前提下诱导相关性探索。在多种灵巧手上,该方法在抓取、手内重定向和接触丰富操作中持续优于关节空间与学习动作空间基线,并覆盖无结构 RL、参考引导 RL、轨迹优化及 sim-to-real 部署,在奖励塑形和课程设计较少时增益最大。
研究团队提出 SMART 系统,通过仿真平台 SMART-Sim 合成超 100 万条演示数据 SMART-Data,覆盖 44 种原子任务类型、5 种机器人配置和 2,507 个关节物体。基于该数据预训练的 VLA 模型在仿真基准上表现有竞争力,并实现零样本 sim-to-real 迁移,在真实世界关节物体操作任务中展现出可扩展性能。
研究提出将潜在空间扰动建模为对世界模型学习到的潜在动力学的扰动,通过动力学感知相似度度量与分布外检测构建合理潜在动力学集合,并用共形预测校准不确定性集,再以博弈论优化联合求解鲁棒动作与最坏情况潜在扰动。在 Franka 机械臂硬件实验中,该方法使安全过滤失败率降低 70%、基于采样的策略引导失败率降低 54%。
OpenSplatGraph 是一个统一框架,可直接从在线高斯开放词汇语义地图构建持久 3D 场景图,通过可靠性感知语义场实现置信度感知、查询条件下的物体提取,并将物体实例关联为持久图节点以增量更新属性与关系。该框架同时支持语言引导的物体定位与结构化关系推理,在标准 3D 场景理解基准和真实机器人实验中取得有竞争力的性能,已被 ACCV 2026 接收。
研究者提出 Physics-Guided Visual Prompting(PG-VP),一种即插即用多模态感知模块,让冻结的 VLA 模型通过叠加随帧移动的虚拟障碍物绕开 RGB 相机不可见的辐射与热源,无需重新训练或新增编码器。
研究团队推出 RoboCap,一款 250g、六摄像头、双 IMU 的帽子,用于野外第一人称数据采集,并配套设备无关的 Grounded API 3D 算法套件。该平台在公开基准上取得 SOTA:多场景与多设备的 SLAM、第一人称深度估计,以及适配第三方设备的手部追踪。
一个由视觉语言模型(VLM)引导的电磁数字孪生在线校准框架,在 Unitree G1 机器人和 NVIDIA Sionna 上演示,通过两次 VLM 调用完成材质分类与路径点规划。在真实室内场景中,该框架在 20 米行程内实现归一化平均绝对电导率误差 1.74×10⁻⁴,随机初始化无法收敛,随机路径点则需两倍以上行程。
VeriFine 是一个 agent harness 框架,通过策略、训练课程与评判器的协同演化来扩展验证能力。其 Policy Improvement Loop 用评分标准评判器诊断反复出现的失败并构建自适应课程,当验证成为瓶颈时,Judge Improvement Loop 针对信息量大的失败案例选择性引入人工指导,通过协同校准精炼评判器。
AssemState 是一个零样本家具装配框架,先用锚点引导的边界装配状态把手册页拆解为单零件操作并还原装配树,再通过迭代式后状态反馈修正引导 SE(3) 更新,并用仿真释放测试验证物理合理性。
研究者提出 EMHO,一种自进化框架,在保持具身模型冻结的前提下,通过分析执行轨迹和历史框架来迭代修改智能体框架,优化其进度监控、视觉工具使用、观察 grounding 和失败响应方式。
研究者提出 Sensor-Language-Action(SLA)建模框架,以语言作为感知与行动之间的语义接口,将多模态传感器观测、自然语言和动作统一到一个模型中。
研究发现 Vision-Language-Action 模型对指令措辞高度敏感,$\pi_{0.5}$ 在 LIBERO 炉灶任务上对 "switch on the stove" 成功率 100%,换成 "switch on the hot plate" 仅 2%。
针对长时程具身任务中目标常不在视野内的问题,研究者提出 Attacca,用与执行环境解耦的目标图像在完整“搜索到交互”轨迹上训练视觉目标条件策略。该方法采用上下文解耦目标采样与目标掩码预测头,并引入区分 Search、Approach、Interact 阶段的行为相位条件。