arXiv cs.AI· Xinyu Zhang, Zhengtong Xu, Yutian Tao, Yeping Wang, Yu She, Abdeslam Boularias·· 10 天前AI 评分30
通过残差潜在动作学习基于视觉特征的世界模型
Learning Visual Feature-Based World Models via Residual Latent Action
AI 导读
研究者提出 Residual Latent Action（RLA），可从 DINO 残差中学习，并据此构建 RLA-WM 世界模型，通过 flow matching 预测 RLA 值。
正文 · AI 翻译
摘要：世界模型根据观测和动作预测未来的状态转移。现有工作主要聚焦于图像生成。另一方面，基于视觉特征的世界模型预测未来的视觉特征而非原始视频像素，提供了一种更有前景的替代方案，其更高效且更不易产生幻觉。然而，当前基于特征的方法依赖直接回归，这会在复杂交互中导致模糊或坍缩的预测，而在高维特征空间中进行生成式建模仍然具有挑战性。在这项工作中，我们发现一种新型的潜在动作表示，我们称之为残差潜在动作（RLA），可以很容易地从 DINO 残差中学习得到。我们还表明 RLA 具有预测性、可泛化性，并编码了时间进程。基于 RLA，我们提出了 RLA 世界模型（RLA-WM），它通过流匹配预测 RLA 值。RLA-WM 在仿真和真实世界数据集上均优于最先进的基于特征的世界模型和视频扩散世界模型，同时比视频扩散快数个数量级。此外，我们开发了两种使用 RLA-WM 来改进策略学习的机器人学习技术。第一种是带有 RLA 的极简世界动作模型，它从无动作视频中学习，并在 LIBERO 和真实机器人上改进了 VLA。第二种是一个视觉强化学习框架，完全在仅从离线视频学习得到的世界模型内部训练，使用视频对齐奖励且无需在线交互。项目页面：此 https URL
| 评论： | NeurIPS 2026 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG）；机器人学（cs.RO） |
| 引用为： | arXiv:2605.07079 [cs.CV] |
| （或 arXiv:2605.07079v2 [cs.CV] 为此版本） | |
| https://doi.org/10.48550/arXiv.2605.07079 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xinyu Zhang [查看邮箱]
[v1]
2026年5月8日星期五 00:58:16 UTC（19,939 KB）
[v2]
2026年10月5日星期一 20:17:03 UTC（31,077 KB）
来源：arXiv cs.AI · arxiv.org