arXiv cs.AI· Yusen Feng, Bingchen Han, Jiangran Lyu, Kai Liu, Yixin Zheng, Yuxuan Wan, Weiheng Liu, Sun Han, Ruiqin Li, Yulong Zhang, Fangfu Liu, Xuesong Shi, Libin Liu, Yizhou Wang, Zhizheng Zhang, He Wang·· 11 小时前AI 评分35
WAM-TTT：通过测试时观看人类游玩来引导世界动作模型
WAM-TTT: Steering World-Action Models by Watching Human Play at Test Time
AI 导读
WAM-TTT 是一个测试时训练框架，可从原始人类视频中引导世界动作模型（WAM），无需机器人动作、人工标注或任务特定微调。它通过自监督视频预测将人类视频吸收进冻结 WAM 内的轻量自适应记忆，并用配对人-机器人数据的键值记忆重建目标做元训练对齐。测试时仅需无标注人类视频即可适配记忆，在多种操作任务和泛化设置上持续优于上下文人类视频条件基线。
正文 · AI 翻译
作者：Yusen Feng、Bingchen Han、Jiangran Lyu、Kai Liu、Yixin Zheng、Yuxuan Wan、Weiheng Liu、Sun Han、Ruiqin Li、Yulong Zhang、Fangfu Liu、Xuesong Shi、Libin Liu、Yizhou Wang、Zhizheng Zhang、He Wang
摘要：将机器人基础模型（RFMs）引导至新的任务变体或用户偏好的行为仍然具有挑战性，通常需要额外的机器人演示、针对特定任务的微调或长上下文条件化。我们提出 WAM-TTT，一个用于从原始人类视频引导世界动作模型的测试时训练框架。WAM-TTT 不将人类视频视为要模仿的轨迹，而是通过自监督视频预测将它们吸收到冻结 WAM 内部的轻量级自适应记忆中。为使该记忆对控制有用，我们引入一个元训练阶段，利用配对的人-机器人数据和键值记忆重建目标，将人类演示与机器人行为对齐。在测试时，仅需未标注的人类视频即可自适应记忆，而预训练的 WAM 保持冻结。这使得无需机器人动作、人类侧标注或针对特定任务的微调即可实现高效且可复用的引导，同时保留基础模型的泛化能力。大量实验表明，WAM-TTT 在多种操作任务和泛化设置下始终优于上下文人类视频条件化基线。
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2607.06988 [cs.RO] |
| （或 arXiv:2607.06988v3 [cs.RO] 为此版本） | |
| https://doi.org/10.48550/arXiv.2607.06988 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Kai Liu [查看邮箱]
[v1]
2026年7月8日星期三 04:23:22 UTC（10,111 KB）
[v2]
2026年7月10日星期五 02:22:52 UTC（10,112 KB）
[v3]
2026年10月23日星期五 06:57:20 UTC（10,585 KB）
来源：arXiv cs.AI · arxiv.org