arXiv cs.AI· Jacob Berg, Chuning Zhu, Yanda Bao, Ishan Durugkar, Abhishek Gupta·· 12 小时前AI 评分38
语义世界模型：用视觉语言模型做机器人规划
Semantic World Models
AI 导读
论文提出“语义世界模型”，不再预测未来像素帧，而是把世界建模转化为关于未来帧语义信息的视觉问答问题，从而可直接用视觉语言模型在图像-动作-文本数据上监督微调得到。在模拟机器人任务上，该方法优于传统的基于重建的动作条件世界模型。
正文 · AI 翻译
摘要：基于世界模型的规划为机器人控制提供了一种强大的范式。传统方法训练模型以当前帧和动作为条件预测未来帧，然后将其用于规划。然而，预测未来像素的目标往往与实际规划目标不一致；强大的像素重建并不总是与良好的规划决策相关。本文提出，世界模型无需将未来帧重建为像素，而只需预测关于未来的任务相关语义信息。为此，本文将世界建模表述为关于未来帧中语义信息的视觉问答问题。这一视角使得世界建模可以采用视觉语言模型背后的相同工具来开展。因此，视觉语言模型可以通过在图像-动作-文本数据上进行监督微调，被训练为“语义”世界模型，从而在继承预训练视觉语言模型诸多泛化性和鲁棒性特性的同时，实现面向决策的规划。本文介绍了这一新方法，并在模拟机器人任务上进行了验证，结果优于基于重建的动作条件世界建模的典型范式。网站见 此 https URL。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；机器人学（cs.RO） |
| 引用为： | arXiv:2510.19818 [cs.LG] |
| （或 arXiv:2510.19818v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2510.19818 arXiv 颁发的 DOI（通过 DataCite） |
提交历史
来自：Chuning Zhu [查看邮箱]
[v1]
2025年10月22日 星期三 17:53:45 UTC（2,153 KB）
[v2]
2026年10月26日 星期一 20:48:32 UTC（2,150 KB）
来源：arXiv cs.AI · arxiv.org