arXiv cs.AI· Thinker Team, Peng Gao, Jichao Jiao, Chen Liao, Daqin Luo, Yiming Ma, Baiyu Pan, Hailin Shi, Jiyuan Wang, Xiangming Xu, Xiongwei Zhao·· 3 天前AI 评分35
Thinker-WM：面向具身智能的统一多模态世界模型
Thinker-WM: A Unified World Model with Shared Multimodal Representations for Embodied Intelligence
AI 导读
优必选 Thinker 团队提出统一多模态世界模型 Thinker-WM，通过共享的 Unified Dynamics Transformer 与模态专属编解码器，联合建模并生成 RGB、度量深度和机器人动作。
正文 · AI 翻译
作者：Thinker Team Ubtech：（按字母顺序），Peng Gao，Jichao Jiao，Chen Liao，Daqin Luo，Yiming Ma，Baiyu Pan，Hailin Shi，Jiyuan Wang，Xiangming Xu，Xiongwei Zhao
摘要：世界模型已成为具身智能的一种有前景的范式，然而现有系统在所建模的模态和所支持的功能上往往仍是碎片化的。特别是，视觉动态、几何结构和可执行动作通常通过单独的接口或下游模块进行耦合，而不是在共享的动力学模型内联合表示和演化。在这项工作中，我们提出了 Thinker-WM，一个统一的多模态世界模型，通过共享的中间 Unified Dynamics Transformer 以及模态特定的编码器和解码器，联合建模并生成 RGB、度量深度和机器人动作。该模型在表示层面进行多模态统一：外观、几何和动作被转换为共同的动态表示，并由共享参数联合演化，同时保留它们各自不同的输出结构。同一套参数化支持多种功能，包括联合视频-动作生成、世界预测、策略推理、动作条件生成、视频到动作生成以及逆动力学。为了检验共享表示是否捕获了与动作相关的信息，我们引入了一个轻量级运动探针，表明冻结的视觉表示包含可恢复的运动信息。Thinker-WM 在异构语料库上训练，该语料库包含约 20K 小时的自我中心视频、10K 小时的真实机器人数据和 1K 小时的仿真数据，其中包括约 4K 小时带有对齐深度监督的真实机器人数据。大量实验表明，在具身世界模型评估中表现强劲。Thinker-WM 在 EWMBench、WorldOlympiad 和 WorldArena 上排名第一，而对照研究进一步证明了在共享表示中动作条件、几何交互和多功能训练的优势。
| 评论： | 项目页面：this https URL |
| 主题： | 人工智能（cs.AI）；计算机视觉与模式识别（cs.CV）；机器人学（cs.RO） |
| 引用为： | arXiv:2610.18447 [cs.AI] |
| （或 arXiv:2610.18447v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18447 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Baiyu Pan [查看电子邮件]
[v1]
2026年10月13日星期二 14:18:47 UTC（17,651 KB）
[v2]
2026年10月14日星期三 05:41:05 UTC（17,631 KB）
来源：arXiv cs.AI · arxiv.org