arXiv cs.AI· Boyu Chen, Yi Chen, Lu Qiu, Jerry Bai, Yuying Ge, Yixiao Ge·· 3 天前AI 评分40
UniT：面向人到人形机器人策略学习与世界建模的统一物理语言
UniT: Toward a Unified Physical Language for Human-to-Humanoid Policy Learning and World Modeling
AI 导读
UniT（Unified Latent Action Tokenizer via Visual Anchoring）通过视觉锚定建立统一物理语言，实现人到人形机器人的跨本体迁移。其三分支交叉重建机制将异构运动学映射到共享离散隐空间，在策略学习（VLA-UniT）中实现零样本任务迁移与OOD泛化，在世界建模（WM-UniT）中实现人到人形机器人的直接动作迁移。
正文 · AI 翻译
摘要：人形基础模型的扩展受限于机器人数据的稀缺。尽管海量的第一人称人类数据提供了可扩展的替代方案，但由于运动学不匹配，弥合跨具身鸿沟仍是一项根本性挑战。我们提出 UniT（通过视觉锚定的统一潜在动作分词器），一个为人到人形迁移建立统一物理语言的框架。基于异构运动学共享通用视觉后果这一理念，UniT 采用三分支交叉重建机制：动作预测视觉，将运动学锚定到物理结果；视觉重建动作，以过滤掉无关的视觉混杂因素。同时，一个融合分支将这些纯化后的模态协同整合到一个具身无关物理意图的共享离散潜在空间中。我们在两种范式下验证 UniT：1）策略学习（VLA-UniT）：通过预测这些统一 token，它有效利用多样化的人类数据，在人形仿真基准和真实世界部署中实现最先进的数据效率和鲁棒的分布外（OOD）泛化，尤其展示了零样本任务迁移。2）世界建模（WM-UniT）：通过以统一 token 为条件对齐跨具身动力学，它实现了直接的人到人形动作迁移。这种对齐确保人类数据无缝转化为增强的人形视频生成动作可控性。最终，通过诱导高度对齐的跨具身表示（经 t-SNE 可视化实证验证，揭示人类和人形特征收敛到共享流形），UniT 提供了一条可扩展的路径，将海量人类知识蒸馏为通用人形能力。
| 评论： | 项目页面：this https URL ；作者推荐的 BibTeX：this https URL 。此版本添加了一个附属引用文件；手稿未更改 |
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2604.19734 [cs.RO] |
| （或 arXiv:2604.19734v2 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.19734 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Boyu Chen [查看邮箱]
[v1]
2026年4月21日星期二 17:57:27 UTC（6,651 KB）
[v2]
2026年10月11日星期日 11:18:17 UTC（6,652 KB）
来源：arXiv cs.AI · arxiv.org