arXiv cs.AI· Zhennan Jiang, Shangqing Zhou, Yutong Jiang, Zefang Huang, Mingjie Wei, Yuhui Chen, Tianxing Zhou, Zhen Guo, Hao Lin, Quanlu Zhang, Yu Wang, Haoran Li, Dongbin Zhao, Chao Yu·· 11 小时前AI 评分38
WoVR：用世界模型作为可靠模拟器，通过 RL 后训练 VLA 策略
WoVR: World Models as Reliable Simulators for Post-Training VLA Policies with RL
AI 导读
WoVR 是一个基于世界模型的强化学习框架，用于对 VLA 策略进行后训练，通过可控的动作条件视频世界模型、Keyframe-Initialized Rollouts 和世界模型-策略协同进化来抑制想象 rollout 中的幻觉与长程误差累积。实验显示其能实现稳定的长程想象 rollout，在 LIBERO 上取得更优表现，并在多个机器人平台上获得一致的实机收益。
正文 · AI 翻译
作者：Zhennan Jiang、Shangqing Zhou、Yutong Jiang、Zefang Huang、Mingjie Wei、Yuhui Chen、Tianxing Zhou、Zhen Guo、Hao Lin、Quanlu Zhang、Yu Wang、Haoran Li、Dongbin Zhao、Chao Yu
摘要：强化学习（RL）有望为视觉—语言—动作（VLA）模型解锁超越模仿学习的能力，但其对大规模真实世界交互的需求使其无法直接部署在物理机器人上。近期工作尝试使用学习到的世界模型作为模拟器进行策略优化，然而闭环的想象推演不可避免地会受到幻觉和长时程误差累积的影响。此类误差不仅会降低视觉保真度，还会因提供不可靠的学习信号而误导策略优化。我们提出 WoVR，一个基于世界模型的可靠强化学习框架，用于对 VLA 策略进行后训练。WoVR 并不假设世界模型是忠实的，而是显式地调控强化学习与不完美想象动力学之间的交互方式。它通过可控的动作条件视频世界模型提升推演稳定性，通过关键帧初始化推演（Keyframe-Initialized Rollouts）重塑想象交互以降低有效误差深度，并通过世界模型—策略协同演化维持策略与模拟器之间的一致性。大量实验表明，WoVR 能够实现稳定的长时程想象推演和有效的策略优化，在 LIBERO 上取得更优性能，并在多个机器人平台上获得一致的现实世界增益。这些结果表明，当幻觉被显式控制时，世界模型可以作为强化学习的实用模拟器。更多可视化结果见 此 https URL。
| 备注： | 25 页，11 张图 |
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2602.13977 [cs.RO] |
| （或本版本的 arXiv:2602.13977v3 [cs.RO]） | |
| https://doi.org/10.48550/arXiv.2602.13977 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhennan Jiang [查看邮箱]
[v1]
2026 年 2 月 15 日周日 03:48:20 UTC（5,940 KB）
[v2]
2026 年 6 月 27 日周六 16:11:05 UTC（36,642 KB）
[v3]
2026 年 11 月 5 日周四 11:51:21 UTC（7,603 KB）
来源：arXiv cs.AI · arxiv.org