跳到正文
arXiv cs.AI· Wenhao Li, Zhongyi Han, Yuhao Wei, Liang Han, Yilong Yin, Liqiang Nie·· 10 小时前AI 评分34

WACO:面向姿态鲁棒的少样本视觉-语言-动作模型的世界锚定规范化框架

Towards Pose-Robust Few-Shot Vision-Language-Action Models

AI 导读

WACO 是一个面向 VLA 模型的世界锚定规范化框架,可在无真值外参、无额外数据的情况下,从单帧 RGB-D 图像估计相机与机器人基座的位移,并将图像、状态、动作与起始位姿规范化到标定视角与基座坐标系。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:在几十个演示样本上微调视觉-语言-动作(VLA)模型,是将操作策略部署到机器人上的标准做法,但由此得到的策略会默认假设相机和机器人基座在数据采集期间始终保持在原位:三脚架被碰一下,或基座重新对接时偏移几厘米,就会导致机器人伸向错误的位置。我们证明,这两种失败其实是同一种现象,即策略所记忆的相机到基座外参发生了变化,而机器人自身携带了消除这一变化所需的一切信息。我们提出 WACO,一个面向 VLA 模型的世界锚定规范化框架:机械臂根据测得的关节角度通过正运动学确定位姿,作为度量标定目标;静态场景则作为世界锚点,用于区分是相机移动了还是机器人移动了。仅凭单帧 RGB-D 图像,WACO 无需真值外参或额外数据即可估计这两种偏移,将图像规范化到标定视角,并将状态、动作和起始位姿规范化到标定基座坐标系,然后在其自身估计器所产生的伪影下微调未经修改的策略。我们还提出了 LIBERO-PoseShift,这是首个面向 RGB VLA 的基准,包含分级相机偏移、基座偏移和复合偏移。在 LIBERO-PoseShift、LIBERO-Plus 相机赛道以及 UR5e 机器人上的四个真实世界任务中,WACO 始终优于标准少样本方案和先前的视角鲁棒方法,在仿真中将偏移场景成功率提升 13.2 个百分点,在真实机器人上提升 36.7 个百分点,分别弥补了与真值 oracle 之间仿真差距的 90% 和真实机器人差距的 87%,并在不使用扰动训练数据、不做测试时校准的方法中确立了新的最优水平。项目页面:this https URL。
评论: 17 页,13 幅图,17 张表(含补充材料)。项目页面:this https URL
主题: 机器人学(cs.RO);人工智能(cs.AI);计算机视觉与模式识别(cs.CV)
引用为: arXiv:2611.24360 [cs.RO]
  (或 arXiv:2611.24360v1 [cs.RO] 查看此版本)
  https://doi.org/10.48550/arXiv.2611.24360

arXiv 颁发的 DOI,经由 DataCite(待注册)

提交历史

来自:Wenhao Li [查看邮箱]
[v1] 2026 年 11 月 18 日周三 12:54:16 UTC(8,623 KB)

来源:arXiv cs.AI · arxiv.org