跳到正文
arXiv cs.AI· Shaoyi Zheng, Zhongtao Jiang, Yue Peng, Wenbo Lu, Shunchi Zhang, Xi Wang, Shengji Wan·· 11 小时前AI 评分38

DirectWAM:将级联世界-动作模型蒸馏为单步机器人控制预测器

De-Diffusing WAMs: Action-Sufficient Direct Prediction for Robot Control

AI 导读

DirectWAM 通过动作充分蒸馏,把预训练视频与动作专家转为单步预测器,无需随机采样即可保留显式的未来到动作级联。它在四个 LIBERO 套件上平均成功率达 97.1%,RoboTwin 2.0 上达 85.4%,并在三个真实任务中验证有效。相比完整迭代教师模型,其推理延迟降低 28.0 倍。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:级联世界-动作模型(WAMs)利用预测的视觉未来来约束机器人动作,但继承了来自扩散预训练专家的昂贵迭代推理。我们探究单步预测的未来必须保留什么,才能支持准确的单步动作预测。在所评估的 WAM 中,重采样视频噪声对下游动作影响甚微,但将两个流都简单地截断为一步会大幅降低任务成功率。视频空间监督只能部分弥合这一差距,而局部敏感性分析表明,视觉预测误差对动作准确性的影响极不均衡。这些发现促成了 DirectWAM,它通过动作充分蒸馏将预训练的视频和动作专家转换为单步预测器,无需随机采样,同时保留显式的未来到动作级联。在学习了一步动作模型后,我们通过从其自身预测的未来中解码动作,并通过专家反向传播演示动作误差来训练未来预测器,并可选地加入未来潜变量重建损失。由此得到的目标通过下游控制后果来评估学生生成的未来,而不是仅依赖表示匹配。DirectWAM 在四个 LIBERO 套件上平均成功率达到 97.1%,在 RoboTwin 2.0 上达到 85.4%,在每流一次评估的相同预算下优于 Flash-WAM。这一优势也已扩展到我们设计的三个真实世界任务。与完整的迭代教师相比,它将推理延迟降低了 $28.0\times$。
学科: 机器人学(cs.RO);人工智能(cs.AI)
引用为: arXiv:2610.28122 [cs.RO]
  (或 arXiv:2610.28122v1 [cs.RO] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.28122

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Shaoyi Zheng [查看电子邮件]
[v1] 2026年10月20日星期二 12:30:58 UTC(15,776 KB)

来源:arXiv cs.AI · arxiv.org