arXiv cs.AI· Xicheng Gong, Wenxuan Song, Chengze Liu, Qiwei Li, Qize Yu, Jiaolong Yang, Haoang Li, Yadong Mu·· 11 小时前AI 评分12
JADE：让 VLM 与动作专家联合去噪的机器人动作生成方法
Vision-Language Models Are Joint Denoisers in Robotic Action Generation
AI 导读
JADE 提出让 VLM 与扩散动作专家联合去噪，VLM 在每一步读取带噪动作、视觉观测和语言指令，并通过门控交叉注意力引导动作专家，使预训练感知与推理持续参与动作生成。
正文 · AI 翻译
本文已被 Xicheng Gong 撤回
摘要：基于扩散的视觉-语言-动作（VLA）模型将预训练的视觉-语言模型（VLM）与扩散动作专家级联，但通常将 VLM 限制为仅提供静态条件。这种分离限制了预训练的感知与推理能够引导动作生成的程度，尤其是在分布外场景中。我们提出 JADE，一种联合动作去噪器，使 VLM 与动作专家能够联合细化动作。我们的关键洞见是，结构化动作潜变量使 VLM 能够结合视觉观测和语言指令读取当前含噪动作。在每个去噪步骤中，VLM 对含噪动作进行上下文化，并通过门控交叉注意力引导动作专家，使其引导随所生成的动作而演化。我们进一步监督 VLM 从含噪潜变量中恢复干净的动作潜变量，这为其提供了直接的动作学习信号，并将感知与控制耦合起来。此外，联合去噪使 JADE 能够以更少的采样步数生成动作，有助于抵消 VLM 参与带来的额外开销。自适应步长调度进一步平衡了任务性能与推理延迟。在 RoboDojo 上，JADE 取得了 12.67% 的平均成功率，在所评估的基于 $\pi_{0.5}$ 的方法中最高，并与近期大规模预训练的 VLA 和 WAM 基础模型具有竞争力。它还在 RoboTwin 2.0 上提升了性能，并将四个真实世界双臂任务的平均成功率相比 $\pi_{0.5}$ 提高了 20.8 个百分点。
| 评论： | 格式错误 |
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2611.01215 [cs.RO] |
| （或 arXiv:2611.01215v2 [cs.RO] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.01215 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xicheng Gong [查看邮箱]
[v1]
2026年10月31日 星期六 19:29:39 UTC（3,861 KB）
[v2]
2026年11月5日 星期四 05:41:38 UTC（1 KB）（已撤回）
来源：arXiv cs.AI · arxiv.org