arXiv cs.AI· Tian Lyu, Yichen Jiang, Ziyuan Cheng, Yunda Yan, Xiangyu Pan, Junjie Jiang, Jialin Yu, Boyu Ning, Pietro Li\`o, Fan Mo·· 4 小时前AI 评分35
JointGV:用并行图动态为视觉世界模型做结构感知校正,提升长程建模能力
JointGV: Structure-Aware Correction of Visual World Models with Parallel Graph Dynamics for Long-Horizon Modeling
AI 导读
JointGV 是一种可插拔的图-视觉动态校正模块,通过并行推演任务条件场景图并耦合图节点与视觉状态的变化,为视觉世界模型计算有界残差以纠正长程漂移。在 DINO-WM 与 DreamerV3 上,32 步推演将关节位置误差降低 11–28%;真实机器人倒立摆序列中,DINO-WM 的 32 步杆角误差从 12.56° 降至 6.69°。
正文 · AI 翻译
摘要:视觉世界模型以动作为条件预测未来的视觉状态,但实体姿态与空间关系中的递归误差限制了其在机器人规划与控制中的长时程预测能力。我们探究一个单独预测的关系状态能否在不重构视觉模型的情况下纠正这种漂移。这具有挑战性,因为图节点与视觉状态既不共享元素,也不共享特征空间。我们提出联合图—视觉动力学校正(JointGV),这是一种基于跨粒度动力学假设的插件:尽管表示不同,图节点与视觉状态的变化描述的是同一物理转变。JointGV 在视觉世界模型旁展开一个以任务为条件的场景图,耦合二者预测的变化,并将所得的图—运动上下文与图预测的节点位置相结合,计算一个有界残差。图学习与校正的梯度不会传播到原始视觉动力学中。我们将 JointGV 附加到 DINO-WM(空间 token)和 DreamerV3(全局隐状态)上,在 DMC Cheetah Run 和 Walker Walk 上以三个随机种子进行评估,并将评估扩展到使用 DMC Finger Turn Hard 的接触丰富操作任务。在 32 步展开中,JointGV 提升了结构与视觉预测精度,将关节位置误差降低 11--28\%。对于空间 token,学习到的图—视觉变化耦合比将相同的平均图—运动上下文广播到每个 token 产生更低的误差,尤其是当非相邻部件在图像中显得彼此靠近时。在真实机器人倒立摆序列上,JointGV 将 DINO-WM 的 32 步杆角误差从 $12.56^\circ$ 降至 $6.69^\circ$,并同样改善了 DreamerV3 和 LeWorldModel。在模拟倒立摆控制中,使用 JointGV 校正后的展开训练的 actor 在 50 个回合中完成了 46 个,而使用原始展开的 actor 则一个也未完成。
| 学科: | 机器人学(cs.RO);人工智能(cs.AI);计算机视觉与模式识别(cs.CV) |
| 引用为: | arXiv:2611.22543 [cs.RO] |
| (或本版本使用 arXiv:2611.22543v1 [cs.RO]) | |
| https://doi.org/10.48550/arXiv.2611.22543 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Tian Lyu [查看邮箱]
[v1]
2026年11月17日 星期二 10:33:21 UTC(5,777 KB)
来源:arXiv cs.AI · arxiv.org