用价值梯度实现多形态机器人设计
研究者提出将通用多形态价值函数变为可复用的机器人设计模型:先跨多种机器人设计训练形态感知的策略与价值函数,再用冻结的价值函数作为可微代理,通过价值梯度优化候选形态。该方法在最多 50 种机器人、超 1100 个连续形态参数的设计空间上验证,还能识别限制性能的设计与控制参数。
研究者提出将通用多形态价值函数变为可复用的机器人设计模型:先跨多种机器人设计训练形态感知的策略与价值函数,再用冻结的价值函数作为可微代理,通过价值梯度优化候选形态。该方法在最多 50 种机器人、超 1100 个连续形态参数的设计空间上验证,还能识别限制性能的设计与控制参数。
研究者提出 VLAs-as-Tools 策略,由高层 VLM 智能体负责时序推理与全局规划,一组专用 VLA 工具执行局部物理操作,并通过 VLA 工具族接口实现事件触发的重规划。
UniT(Unified Latent Action Tokenizer via Visual Anchoring)通过视觉锚定建立统一物理语言,实现人到人形机器人的跨本体迁移。其三分支交叉重建机制将异构运动学映射到共享离散隐空间,在策略学习(VLA-UniT)中实现零样本任务迁移与OOD泛化,在世界建模(WM-UniT)中实现人到人形机器人的直接动作迁移。
针对腿式移动操作机器人全身控制策略在传感器噪声或不可行指令下易受OOD输入影响的问题,研究者提出能力流形投影(CMP),通过帧级安全方案将无限时域安全约束转化为单步流形包含,并借助下界安全估计器和同构潜在空间实现O(1)防御。
Pickalo 是一套完全基于低成本硬件的模块化 6D 位姿料箱抓取流水线,腕装 RGB-D 相机主动多视角探索场景,BridgeDepth 处理原始立体流获得精细深度图,Mask-RCNN 仅用合成数据训练完成实例分割,再由零样本 SAM-6D 估计位姿,位姿缓冲模块融合多视角观测以处理对称物体并降低位姿噪声。
AnolisVLA 是一款采用深度状态空间模型处理多模态序列的轻量级视觉-语言-动作模型,用于语言引导的机器人操作。在同等参数规模下,其任务成功率、推理速度和 GPU 显存占用均优于 SmolVLA;在移动操作中,任务成功率比 30 亿参数的 π₀.₅ 高出 21 个百分点,推理速度约为其 3 倍。
OxyGen 提出统一 KV cache 管理,将 KV cache 视为跨任务与控制周期共享的一等资源,通过跨任务 KV 共享消除共享观测的冗余 prefill,并用跨帧连续批处理在每帧解码预算内推进未完成请求。
MoMa-SG 是一个构建铰接场景语义-运动学 3D 场景图的框架,通过遮挡鲁棒的点跟踪与统一 twist 估计,在单次优化中稳健估计旋转和移动关节参数。研究同时发布 Arti4D-Semantic 数据集,涵盖 62 段真实 RGB-D 序列、600 次物体交互及三种观测范式,并提供容器与内含物体的父子关系标注。在四足机器人和移动操作平台上的真实实验验证了其对日常家居铰接物体的稳健操作能力。
研究者提出一种完全绕过模拟器的方法,直接在从真实机器人交互中学习的世界模型内训练 RL 策略。其核心是解耦一阶梯度(FoG)方法:全尺寸世界模型生成精确前向轨迹,轻量潜空间代理模型近似局部动力学以高效计算梯度。在 Push-T 操作任务上,该方法样本效率显著优于 PPO,并在四足机器人的自我中心物体操作任务中得到验证。
研究提出改进的 flow matching 策略梯度目标,绕过似然计算,使机器人控制策略可训练为更 expressive 的分布。该方法在腿足运动、人形动作跟踪和操作任务上均取得成功,并在两台人形机器人上实现稳健的 sim-to-real 迁移。消融分析显示,策略可从零训练时利用 flow 表示进行探索,微调鲁棒性也优于基线。
研究者提出 TTT-Parkour,一个 real-to-sim-to-real 框架,通过在部署前于仿真中对环境特定策略进行快速微调,让 humanoid 机器人在预训练未见过的复杂地形上完成跑酷。
研究者提出类脑架构 NeuroVLA,将皮层视觉语言规划器与递归小脑调制、有状态脉冲脊髓控制器耦合,兼顾语义规划与高频本体感觉反馈。其小脑模块将平均指令抖动降低 75.6%,碰撞恢复率达 54.8%,而所评估的 VLA 基线为 0.0%。基于 FPGA 神经形态处理器的脊髓控制器推理延迟 2.19 ms、每次推理 0.87 mJ,推理功耗约 0.4 W。
研究者提出 Hiking in the Wild,一个端到端感知式足式跑酷框架,将深度输入与本体感知直接映射为关节动作,无需外部定位与建图。该框架引入 Terrain Edge Detection 结合 Foot Volume Points 的落脚安全机制,以及 Flat Patch Sampling 策略以缓解奖励黑客问题。
研究提出 NeuSE,一种由部分物体观测生成的神经 SE(3) 等变潜在物体嵌入,可作为完整物体模型的紧凑点云替代,编码物体的完整形状、尺度与变换信息。其推断出的潜在编码同时具备 SE(3) 与尺度等变性,可直接推导相对帧变换,并兼容通用 SLAM 位姿图优化。在合成与真实序列上的评估显示,该方法独立使用或作为常见 SLAM 流程的补充时,均提升了定位能力与变化感知的建图一致性。
RIFAR 将可靠性筛选与漂移感知回放选择结合,用冻结的逆动力学模型评估动作与视觉一致性,并优先重选漂移更大的轨迹继续训练。在三个 LIBERO 套件和真实世界实验中,它超越此前基于 WAM 生成式回放的 SOTA,在 LIBERO-Goal 上取得 90.97 AUC,每任务仅保留 320 个历史时间步,约为 50 次演示回放所需步数的 4.9%。
LayerRoute 是一种动作条件化的表示路由接口,通过 Layer Mixture Router 动态组合缓存的 VLM 层表示,并用 Action-State Reread 复用早期动作表示。
针对智能体具身框架直接执行动作、不模拟替代动作序列后果的问题,研究者提出 ParallelWorld——一种自适应视界的测试时扩展框架,通过并行模拟与评估多条候选轨迹,由验证器评估中间状态转移、动态剪枝并引导扩展,再选择轨迹仅执行首个动作并随新观测重新规划。在 ESI-Bench 与 LIBERO-Pro 上,该方法分别提升了主动空间推理与语言条件操作的表现。
SafeBranch 通过环境回滚从智能体自身的不安全轨迹中定位安全关键步骤,构造仅在该步骤有差异的分支对进行安全对齐,训练后的智能体部署时无需 critic 参与。在 IS-Bench、SafetyALFRED 及未见任务和物体的分布外变体上,该方法提升了安全任务完成率,在未见物体变体上安全成功次数约为未训练基线的十倍。
研究提出 Reward as an Agent 智能体奖励框架,主动评估生成行为以提供稳健奖励信号,缓解分布偏移下的 reward hacking。配合 DynDiff-GRPO 的 Dynamic-Aware Rollout Diversification 扩展动作空间探索,两者结合在多个开源世界模型上取得显著准确率提升,表明更广探索在可靠验证基础上可成功扩展。
研究团队推出 Causal-Plan-Bench 诊断基准与 Causal-Plan-1M 百万级因果推理语料,指出现有具身视觉语言规划基准偏向语言下一 token 预测而非物理因果推理,GPT-6-astra 仅得 43.04 分。
ChunkAct 将动作分块引入智能体机器人,在线单次 LLM 调用即可启动一串链式原语自主执行,仅在失败时交还控制权;离线阶段把记忆编译为这些分块,使测试时执行无需记忆。在 LIBERO-Pro 上,ChunkAct 任务成功率较智能体机器人 SOTA 提升 5.0 分,同时 LLM 调用减少 2.9 倍、输入 token 减少 4.4 倍、输出 token 减少 2.3 倍。
研究基于 5000 条自然次优人类演示和 24 个目标任务,对比了 VLA 预训练中加权、过滤与条件化三种质量利用方式,发现 approach-aware episode conditioning 的平均成功率优于普通行为克隆,且条件化与过滤分别偏好 episode 和 chunk 标签。
LIBERO-RIG 是一个只扰动机器人硬件与配置、保持 LIBERO 任务不变的鲁棒性基准,覆盖相机安装与光学、相机-机械臂标定、驱动增益、控制频率、本体感觉噪声、底座位姿、桌面高度和夹爪垫等 11 个扰动轴,每轴 5 个严重度,在四个 LIBERO 套件上共 210 种条件。
RoboSimStudio(RSS)是一个交互式工具包,将求解器、接触模型和物理参数的选择显式化并可编辑,让人类和编码智能体都能基于观测到的物理行为快速创建并迭代优化仿真。该工具基于开源 Newton 物理仿真系统实现,并开展了人类引导 real2sim 的三类实验:视觉评估、力反馈以及智能体化的 Real2Sim2Real。
研究者提出 SEAR(Self-Evolving Agentic Robotics)框架与基准,用于检验语言模型智能体是否真正在机器人任务中学习,以及所学能否迁移到新任务、新模拟器和真实机器人。
研究者提出 Steertuning 系统,让机器人在新环境中仅凭 5 段人类演示学习新任务,整个流程从数据采集到策略部署不到 5 分钟。该系统先在 100 小时带密集标注的第一人称人类交互数据上预训练一个 400M 参数的扩散策略,再针对新任务微调 2 分钟(2000 次训练更新),并在反向采样时用与部署环境观测最接近的演示来引导动作。
研究者提出 UniW(A)M,一个基于扩散 Transformer 的混合专家框架,统一了动作条件世界建模与多种世界-动作模型(WAM)变体,共享专家捕捉通用动力学,原子能力专家跨接口复用。
ACCRUE 是一个持续离线策略强化学习框架,通过在任务间传递轻量 actor 和 critic 网络,让每个阶段复用先前 RL 获得的行为与价值知识。在仿真和真机接触密集型装配任务中,ACCRUE 加速后续任务学习且几乎无遗忘,真机训练时间减少 31.0% 至 68.5%。
APTree 是一个模型驱动框架,将自动化任务规划与基于行为树的模块化任务执行相结合,通过协调多个异构符号规划器在运行时自动生成并组合模块化任务计划。研究团队为其开发了领域特定语言及配套执行引擎,并在真实 livMatS Biomimetic Shell 展馆上验证,可检测设计时与运行时的规格和规划错误,并跨多个规划模块协调三种符号规划器生成大规模任务计划。
针对大型视觉语言模型在长时程视觉语言导航中因上下文长度限制、历史观测冗余和空间对齐不稳定导致性能下降的问题,研究者提出 MemoryVLN 记忆驱动导航系统,通过长序列压缩、自我感知记忆表示、分层记忆库与记忆增强机制,将原始导航历史转化为紧凑、空间锚定且可选择性检索复用的导航经验。
Orchestra 是一个将任务规划与执行管理从动作生成中分离的智能体框架,可把多模态指令拆解为有序子任务并跟踪执行进度。在九个 RMBench 任务上平均成功率达 68.22%,比 Mem-0 高出 26.22 个百分点;在 RMBench-Compose 上平均成功长度(ASL)为 7.35 个子任务,是 HarnessVLA 的 2.46 倍。
针对目标在执行中动态变化、且无显式切换信号的在线链式目标导航,研究者提出记忆分解框架 GLST,将潜在信念拆分为全局-局部空间与长-短时序表示以支持长时程推理,并引入目标条件奖励平衡探索与利用。仿真实验在多种地形上优于基线,Spot 四足机器人真机实验进一步验证了该框架。论文已被 CoRL 2026 接收。
针对离线示教策略在长时程全身移动操作中因复合误差而失效的问题,研究者提出 I3L 软硬件一体化系统,通过低成本开源 JoyLo+ 接口实现全身协同纠错与迭代策略精炼。
研究者提出 SCRIM(State CRIticality Measure),通过训练对抗扰动策略与价值评论器,为每个演示状态打出关键性分数,衡量该状态下小幅动作偏差对任务结果的影响。这些分数可用于重加权行为克隆损失,并筛选紧凑高价值演示子集,在保持性能的同时大幅减少训练数据。SCRIM 在多种仿真与真实机器人操作任务上验证,论文已被 CoRL 2026 接收。
HelpMeOut 是一个面向家庭任务执行错误感知监测的具身 AI 基准,将日常动作错误研究转化为 20000 组配对活动片段,覆盖九类神经心理学错误。智能体需观察流式人类活动轨迹,判断执行是否正确并尽早诊断结构化错误。对学习型监测器、符号方法、变化点检测和前沿 LLM 提示基线的评估显示,这些方法作为错误监测器表现不佳,常漏检执行出错的情况。
PrT-Flow 是一种概率可计算的流匹配方法,在保留多模态、多步动作生成的同时计算概率密度。其 Jacobian-Tractable Transformer(JTT)使每个采样步骤可逆,配合 Conditional Euler-step Training(CET)训练,并证明 CET 与拟合 Flow Matching 的 Euler 求解器更新具有相同极小值点。
Box-WAM 提出用任务相关物体的有向边界框轨迹替代全帧视频预测,作为世界动作模型(WAM)的紧凑未来状态表示。该方法在显著降低训练与推理计算成本的同时提升了动作预测性能,表明以物体为中心的紧凑状态可作为机器人操作中基于视频的世界动作建模的高效替代方案。
YUBI-Real2Sim 是一个基于 3DGS 的场景重建与 real-to-sim 策略评估框架,支持双鱼眼腕部视角,在九组场景-任务对比中有八组复现了真实世界的策略排序。
针对四旋翼在杂乱环境中因相机视野外运动而碰撞的问题,研究者提出导航策略 ClearNav,通过前视朝向目标与横向速度惩罚两项奖励约束运动方向,并加入近障碍减速项。
研究提出相位条件可供性场(PAF),在观测点云上学习逐点分数,用其分数加权质心作为相位条件锚点对观测与动作做规范化,并将分数作为逐点特征,从而在保留全局 SE(3) 等变性的同时引入局部几何归纳偏置。在多种空间随机化下的 MimicGen 任务中,PAF 持续提升底层策略成功率;在多物体真机任务上优于基线,并在光照变化下保持领先。该工作已被 CoRL 2026 接收。