arXiv cs.AI· Yan Yang, Jikun Rong, Minzhao Zhu, Zheyi Zhao, Qirui Hu, Zihan Lan, Weixin Mao, Yinhao Li, Zhen Fu, Hua Chen·· 9 天前AI 评分31
HWAM：联合状态-动作生成的人形世界动作模型
HWAM: Humanoid World Action Model With Joint State--Action Generation
AI 导读
针对人形机器人分层系统中策略参考动作与实际执行动作存在差距的问题，研究者提出 HWAM——一种联合生成状态与动作的人形世界动作模型，将机器人执行后的本体感知状态作为显式预测目标。
正文 · AI 翻译
摘要：人形机器人是通用操作的一个有前景的平台。近期的视觉-语言-动作（VLA）策略直接从多模态观测中学习动作，而世界动作模型（WAM）进一步引入未来视觉预测来改进动作生成。然而，在分层人形系统中，VLA 和 WAM 策略输出参考动作，这些动作随后通过全身控制、机器人动力学、平衡和接触来实现。这种分层结构造成了动作-执行差距：策略产生的参考动作可能与机器人实际实现的运动不同。如果不显式建模实际实现的身体状态，未来视觉预测必须同时解释场景演变以及参考动作与执行运动之间的差异，这使得将动作与其物理结果关联起来变得困难。我们提出 HWAM，一种具有联合状态-动作生成的人形世界动作模型，它将机器人执行后的本体感受状态作为显式预测目标。通过联合生成参考动作及其实际实现的身体状态，HWAM 将执行运动的监督直接纳入动作学习。HWAM 通过三条互补的条件路径进行训练。策略路径仅以当前观测为条件，联合去噪状态-动作轨迹，与部署条件相匹配。前向动力学建模（FDM）以动作和执行后状态为条件预测未来视觉观测，而逆向动力学建模（IDM）从视觉转换中重建联合轨迹。这些路径共同连接了策略参考、实际实现的身体运动和视觉结果。在 LimX OLI 人形机器人的三个真实机器人任务上，HWAM 在所评估的基线中取得了最高成功率。在 Candy Picking 任务上，HWAM 取得了 70.6% 的成功率，而 Fast-WAM 为 43.3%。
| 评论： | 审稿中。15 页，5 幅图 |
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.12026 [cs.RO] |
| （或 arXiv:2610.12026v1 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12026 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yan Yang [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 14:23:18 UTC（10,574 KB）
来源：arXiv cs.AI · arxiv.org