DexMimic:通过价值引导重置分配实现通用灵巧手-物体跟踪策略
DexMimic 是一种跨多样人手-物体交互轨迹联合训练的通用灵巧手-物体跟踪策略,通过 Value-Guided Reset Allocation 在线调整初始化分布,优先训练困难阶段并选择高期望跟踪回报的重置状态。实验显示其跟踪成功率与训练效率提升、微调更快,并具备对未见轨迹和物体的零样本泛化潜力,训练集越大效率与泛化越好,已在真实灵巧操作平台上验证。
DexMimic 是一种跨多样人手-物体交互轨迹联合训练的通用灵巧手-物体跟踪策略,通过 Value-Guided Reset Allocation 在线调整初始化分布,优先训练困难阶段并选择高期望跟踪回报的重置状态。实验显示其跟踪成功率与训练效率提升、微调更快,并具备对未见轨迹和物体的零样本泛化潜力,训练集越大效率与泛化越好,已在真实灵巧操作平台上验证。
研究者提出 DroneCATS 基准,让 MLLM 通过四类动作直接控制无人机,覆盖目标可见性、目标运动、场景与模拟器变化,并扩展至真实无人机、多无人机及"指挥官+子智能体"套件,评测了十款从前沿到小型开源的 MLLM。
ValueFormer 是一个策略无关的因果 Transformer(3.5M 参数),基于冻结的 DINOv3 骨干,单次前向即可输出平滑的蒙特卡洛价值与尖锐的二值价值两路逐帧信号。
研究提出 Play2Perfect,一个通过多样化物体与目标上的"玩耍"进行任务无关预训练的 RL 框架,再微调适配精密装配。该先验比从零 RL 训练的样本效率高 33 倍,即使后者提供密集多阶段奖励。方法实现零样本 sim-to-real 迁移,在 0.5 mm 接触间隙的紧密插入任务上成功率达 60%,长时程多部件装配和拧螺丝成功率超 50%。
VOiLA 是一个为 POMDP 智能体学习任务无关世界模型并做在线规划的框架,用条件扩散模型学习状态转移与观测采样器,并将扩散采样器蒸馏为紧凑前馈生成器,采样成本最多降低近三个数量级。
研究者提出 RMBench,一个包含 9 个操作任务的仿真基准,覆盖多个记忆复杂度层级,用于系统评估机器人操作策略的记忆能力。同时提出模块化策略 Mem-0,通过显式记忆组件支持受控消融实验,并在仿真与真实世界实验中揭示了现有策略的记忆局限及架构设计对记忆表现的影响。
ZeST 将 VLM 的重复输出视为随机测量并融合为不确定性感知后验,实现零样本可通行性预测,避免为采集数据将机器人置于危险环境。在室内受控与户外非结构化环境实验中,ZeST 导航成功率达 90-100%,而所有基线均不超过 60%,且在查询延迟高达 3.6s 时仍保持完全成功。
研究者提出 EmbodiedMidtrain,通过中训练弥合 VLM 与 VLA 之间的数据分布差距。该方法用轻量可学习邻近度估计器从大规模 VLM 数据池中筛选与 VLA 最对齐的样本,构建 EmbodiedMidtrain-1M 数据集,在 VLA 微调前对 VLM 进行中训练。
研究者推出 LIBERO-PeRM,一个用于具身智能体偏好学习的基准,基于 LIBERO 构建,覆盖运动、技能和用户画像三类可观察偏好,包含 5 个任务套件共 312 个任务。实验显示当前 VLA 策略难以零样本个性化,SFT 可让偏好变得可学习,混合训练在无偏好保持上优于顺序适配,但偏好泛化、分解与冲突处理仍是难点。
T2-Z 通过为机器人世界模型附加可学习的环境隐变量,在测试时冻结世界模型、仅用一次或多次交互轨迹优化该隐变量,从而适应未见过的环境配置。在 7 个模拟设置和 4 项真实机器人任务中,物体预测误差指标从 15.20 降至 7.00,动作成功率从 33.73% 提升至 72.96%。消融实验显示,T2-Z 仅凭单条测试时交互轨迹即可高效推断环境隐变量。
CoDA 让仿真数据引擎与动作策略通过共享异构记忆协同演化,记忆将视觉语言评论模型验证的诊断编译为生成程序与训练程序。其 Text2potential 把诊断转为分阶段势函数,为动作块价值学习提供稠密监督。
机器人框架 DSP 通过行为克隆从数分钟人类玩耍数据中学习玩耍策略,再自主部署收集数小时交互数据训练世界模型,推理时由该策略为 MPC 提出候选动作序列。团队还提出在世界模型内通过自博弈蒸馏闭环目标条件策略的方法。真实世界实验中,该方法成功率比 hindsight 行为克隆高 69.6%,并以少 490 倍的交互数据达到与强化学习相当的成功率。
研究提出全身灵巧操作框架 WBD,将机器人躯干与四肢作为接触面来抓取和操作物体,通过 sim-to-real 流程生成全身抓取数据集、训练强化学习专家并蒸馏为单一策略。
DemoStream 是一个通过优化示教质量来提升行为克隆成功率的 TAMP 系统,引入批量 TAMP 采样操作与批量约束满足算法以并行探索大量解。仿真实验消融了不同动作空间、代价函数和批量大小对下游策略成功率的影响,并利用 TAMP 的安全保证以平均每小时 66 条示教的速度直接采集真实世界示教数据。
研究团队提出 Anvil 统一框架,用于具身空间智能的数据生成、训练与评测,包含数据飞轮 Anvil-Gen、场景对齐监督 Anvil-Ben 和 9B 蒸馏学生模型 Anvil-MOPD。
研究者提出 Causal-Beam-Guided Subtask Transfer(CBST),从人类操作视频中学习操作相关表征,并用机器人演示将其锚定到任务级语义变量,使机器人无需人机动作对应即可从自身观测生成动作。在机器人操作基准上,CBST 的任务成功率优于对应的 world-action 模型基线。
AVALON 是一个面向"人熟悉、机器人未见"室内场景的拓扑导航框架,机器人无需事先实地遍历或站点专项训练,仅需平面图、地点线索和初始拓扑-里程计对齐即可部署。
X-Fly 是一个面向全块式空中视觉语言导航的分阶段训练框架,通过 Recovery DAgger 为学习者访问的决策状态标注可重连未来专家片段的平滑动作块,并在首个区域内状态给出 STOP,再用 Flow-GRPO 联合优化分块流控制器与 Bernoulli 停止策略。
研究者提出 Latent Transition Memory(LTM),将历史存为相邻观测间的紧凑潜在转移,并在 π₀.₅ 上实例化为 LTM-π,无需记忆专用语义标注或外部推理模型调用。
SOMA 是一个面向四足机器人的分层强化学习框架,可实现多物体堆叠的全身非抓取式操作,并首次引入显式机身高度控制,将传统二维平面推动扩展到三维推动策略。该框架用 S5 编码器的高层操作策略预测目标跟踪指令,配合动态调整腿部站姿的底层运动策略,在仿真中单物体重定位成功率达 90.3%,双箱动态堆叠达 90.1%(位置误差 0.05 m、朝向误差 1°)。
TGrasp6D 是一种基于视觉语言的方法,可在零样本条件下为给定任务和单张 RGB-D 图像生成任务导向的 6DoF 抓取。它先推理任务对应的语义可供性与物体几何生成任务先验,再通过 6DoF 位姿优化在避免碰撞的同时保持任务一致性。
该研究在 LUMI 模型下探讨了移动故障模型中不透明机器人的宽容聚集问题,证明 (2,1)-移动系统中使用 2 色灯无法实现宽容聚集,并给出使用 3 色灯的最优解。针对 (N,f)-移动系统提出两种确定性算法:一种使用 7 色灯、时间复杂度 O(N),另一种使用 26 色灯、时间复杂度 O(max{ℓ,f}),首次实现时间复杂度分析,可应对不透明可见性与异步调度。
该研究提出一种统一控制/通信策略,让每个智能体基于最后收到的邻居状态计算可达集,并用控制障碍函数求解安全控制输入,在通信间歇下保证智能体间避碰,前提是通信陈旧度有界。智能体依据不确定性与运动学风险指标决定何时抢占式发送自身状态。仿真显示,抢占式通信相比周期性和事件触发基线减少 77.5% 消息量,且零碰撞。
研究者提出基于偏序博弈(posetal games)的多智能体运动规划框架,从场景无关的法律准则自动推导智能体偏好并生成具体场景的法律博弈,证明偏好定制只会移除均衡从而保持合法性。
Hao AI Lab 公布开源权重模型零样本评测结果:ORA 在 RoboTwin 上达到 69.2%,在 LIBERO-Pro 上达到 81.4%。带任务专属记忆的 RPent 在 RoboTwin 上配合 GPT-5.5/Opus-4.7 分别为 62.4%/58.4%,在 LIBERO-Pro 上配合 Opus-4.7 达到 82.4%。同一批案例,不同系统表现各异。
Hao AI Lab 展示同一智能体可适配 ARX X5、ALOHA 和 Franka 三种机器人,通过机器人卡片描述各自的几何结构与控制方式。同一套测试框架即可运行这三种机器人,各自使用专属的卡片、工具和控制器。
Hao AI Lab 估算机器人任务求解的模型成本约为每个已解决案例 $0.30–$0.35,该估算采用 DeepSeek 非高峰时段 API 费率,并计入在 RoboTwin、LIBERO 和 LIBERO-Pro 上的失败尝试。40 个展示回合平均每个 $0.13。
Hao AI Lab 展示同一智能体可适配 ARX X5、ALOHA 和 Franka 三种机器人,通过机器人卡片描述各自的几何结构和控制方式。同一套测试框架即可运行这三种机器人,使用各自专属的卡片、工具和控制器。
Hao AI Lab 将 ORA 搬到真实机器人上,在低成本机械臂、固定 RGB-D 相机和腕部相机的初步运行中,DeepSeek-V4.1-Flash 通过抽屉把手打开抽屉,并把一根糖果棒放进盒子里。
研究者提出 Screw Attention,一种将两个物体间关系建模为空间变换而非图边的 Transformer 层,每对 token 携带相对位姿与关节 screw,消息沿该关系传输至接收方坐标系,注意力分数只看到坐标系不变量。
研究团队提出 TacEx 框架,将触觉反馈引入基于认知不确定性的探索机制,通过按感官模态分解模型不确定性,把好奇心导向触觉通道。该方法让机器人在无任务奖励和专家演示下发现复杂接触动力学并学会抓取,其采集的交互密集数据集可支持离线学习 pick-and-place 策略,还能对预训练时未接触触觉的 VLA 模型进行后训练,显著提升下游性能且样本效率高。
V-JEPA Policy 在冻结的 V-JEPA 2.1 编码器潜空间上构建世界-动作模型,总参数 0.9B、可训练 0.6B,在 LIBERO、LIBERO-Plus 和 RoboCasa-GR1 上与代表性 WAM 及视觉-语言-动作基线表现相当。
ESTHER 是首个面向可穿戴自我中心立体的端到端度量 3D 手部重建模型,其立体几何、时序推理与输出表示均针对该信号设计。模型基于标定标注流程生成的伪标签训练,并据此构建了 ESTHER3D 基准,将大规模野外模型生成标签训练集与动捕真值度量测试集配对。实验显示其达到 SOTA 精度,对外部泛化更强,在缺失视角、丢帧及光照与运动模糊等极端条件下保持鲁棒,甚至坍缩为单目视角后仍能保留真实度量尺度。
RoboCousin 是一个基于 RoboTwin 2.0 的可扩展仿真数据生成平台,可将用户提供的物体图像转为带视觉与碰撞几何、语义物理元数据及自动抓取接触候选的仿真资产,并生成变化物体、背景、布局与语言指令的"数字表亲"。
EmbodiedSkills 是一个基于技能的智能体框架,通过世界动作模型为冻结的 VLA 策略增强后果感知的动作选择,在 MetaWorld MT50 上把成功率从 76.28% 提升到 78.64%,在 CLIPort 上从 33.94% 提升到 36.83%。
LifelongCrossNav 是一个面向未知多层室内环境的顺序多目标 ObjectNav 框架,通过持续维护共享稀疏 3D 语义体素记忆,增量累积几何结构、可通行状态与视觉语言特征,使后续目标查询无需重建地图即可复用场景信息。
研究者提出 Agentic Real2Sim 框架,用视觉语言智能体把真实世界物体-机器人交互录像转化为可仿真的情节孪生,并接入下游策略微调与评估。该框架在刚体操作、可变形物体交互和人形运动场景上完成评测,其智能体决策可由开放权重 VLM 后端驱动,成本仅为前沿模型的一小部分,转换成功率相当。项目站点含代码已公开。
研究团队提出 LIFT(Late Reactive Injection of Force for VLA Post-Training),一种力感知后训练框架,在预训练 VLA 策略旁嫁接反应式动作专家,通过因果力记忆与零初始化交叉注意力注入 6D 末端执行器力,并结合在线 DAgger 循环训练。
EgoWAM 是一个固定策略骨干、动作头与数据配比、仅改变世界预测目标的人类-机器人协同训练框架,对比 Pixel、DINO 与 3D motion flow 三种世界表示。在三个真实双臂任务上,基于 DINO 的预测将分布外物体与场景泛化能力最高提升 4 倍,3D flow 将域内性能提升 20-30%,而像素预测迁移效果较弱。
研究提出椭圆前向扩展和视野(field of view)两项通用技术,在保持最优性的前提下加速任意角度路径规划,并据此开发了静态环境的 Zeta* 与动态环境的 Zeta*-SIPP。Zeta* 结合前向扫描后性能与当前最优算法 Anya 相当,且更易扩展;Zeta*-SIPP 在基准测试中相比最优规划器 TO-AA-SIPP 实现超过一个数量级的加速。