GigaBrain-WBC-0.5:面向人形机器人全身跟踪的行为世界模型
GigaBrain-WBC-0.5: A Behavior World Model for Robust Humanoid Whole-Body Tracking with Environment Interaction
研究团队提出 InterTrack,一个用于人形机器人全身跟踪的行为世界模型,其 Transformer 联合预测下一动作、状态与行为分布,学习以环境为条件的动力学。
作者:Ziyang Cheng、Tianshu Tang、Jinxin Lan、Xinze Chen、Yuhan Gong、Zhichao Liu、Changzhong Wu、Yahao Mao、Zongyan Deng、Mingxuan Ma、Huasen Xi、Yilong Liu、Yutong Wu、Xiaofeng Wang、Borui Zhang、Bingyao Yu、Yang Wang、Yun Ye、Guan Huang、Xiaojie Jin、Zheng Zhu、Jiwen Lu
摘要:通用运动跟踪器使人形机器人能够跟随多样化的全身运动并保持平衡,但仅在平地上训练,未能利用双足在复杂地形上的移动能力。与此同时,跨地形控制器要么针对特定任务,要么只接受低维运动指令。我们提出 InterTrack,这是首个用于与环境交互的鲁棒全身跟踪的行为世界模型(BWM)。其 Transformer 联合预测下一动作、状态和行为分布,学习以环境为条件的动力学。为扩展交互训练数据,一条自动标注流水线从重定向运动重建 3D 支撑几何。在部署时,策略以“尽力而为”的方式处理当前环境中不合理的指令。定量来看,InterTrack 在地形交互上达到 81.3% 的成功率(为最佳评估基线的 4.3 倍)和 99.3% 的跌倒恢复率,同时还提升了自由空间跟踪,并在所有这些场景中优于三个领先的跟踪基线。据我们所知,我们首次展示了人形机器人上的实时跨地形全身遥操作,以及物体交互、对缺失支撑的稳定响应和从跌倒中的鲁棒恢复。
| 评论: | 技术报告。项目页面:this https URL 代码:this https URL 数据:this https URL |
| 主题: | 机器人学(cs.RO);人工智能(cs.AI);机器学习(cs.LG) |
| 引用为: | arXiv:2608.18234 [cs.RO] |
| (或本版本的 arXiv:2608.18234v5 [cs.RO]) | |
| https://doi.org/10.48550/arXiv.2608.18234 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Ziyang Cheng [查看邮箱]
[v1]
2026年8月18日星期二 18:21:36 UTC(16,562 KB)
[v2]
2026年8月23日星期日 09:07:15 UTC(15,875 KB)
[v3]
2026年9月11日星期五 05:22:00 UTC(15,875 KB)
[v4]
2026年9月17日星期四 07:45:26 UTC(21,107 KB)
[v5]
2026年11月5日星期四 07:54:51 UTC(20,969 KB)
来源:arXiv cs.AI · arxiv.org