arXiv cs.AI· Linhan Wang, Zijian An, Mingyuan Zhang, Chen Dai, Yi Xu, Can Cui, Jiayan Wang, Zichong Yang, Yinlin Chen, Lifeng Zhou, Chang-Tien Lu·· 13 小时前AI 评分58
GlanceWAM：面向世界-动作模型的稀疏测试时想象
GlanceWAM: Sparse Test-Time Imagination for World-Action Models
AI 导读
GlanceWAM 提出将视觉想象与动作控制解耦在同一个视频 DiT 主干上，异步预想未来单帧并在潜空间直接解码动作块，单块控制延迟 48 ms，比同步世界-动作模型快 24 倍。
正文 · AI 翻译
作者：Linhan Wang、Zijian An、Mingyuan Zhang、Chen Dai、Yi Xu、Can Cui、Jiayan Wang、Zichong Yang、Yinlin Chen、Lifeng Zhou、Chang-Tien Lu
摘要：视频生成模型为机器人学习提供了丰富的物理先验，但现有的世界-动作模型（WAMs）面临一个根本性的权衡：以控制频率同步生成视频会带来难以承受的延迟，而放弃测试时的视觉想象又会牺牲任务成功率。我们表明，当视觉想象以异步方式在关键路径之外生成并直接在潜空间中消费时，可以同时实现实时推理和更高的成功率。我们提出 GlanceWAM，它在单个共享视频 DiT 主干上将想象与控制解耦：一个异步提议器以慢时钟在后台提前“瞥见”未来数秒后的单个前瞻帧，而动作头以控制频率（48 ms）完全在潜空间中解码动作块，且不会阻塞。借助隔离视频表示的非干扰注意力掩码，以及适应异步前瞻老化的抗陈旧时域训练，GlanceWAM 打破了速度与成功率的困境。仅使用演示数据训练，它在 24 项任务的 RoboCasa 厨房基准上达到 72.2%（同步 Cosmos Policy 为 67.1%），在 LIBERO 上达到 99.0%，同时相对于同步世界-动作模型将每块控制延迟降低 24 倍（单张 A100 上为 48 ms）。在单臂和双臂真实机器人操作中，它在没有任何机器人数据预训练的情况下取得了比 $\pi_{0.5}$ 更高的平均成功率。代码见 this https URL，真实机器人视频见 this https URL。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器人学（cs.RO） |
| 引用为： | arXiv:2608.23927 [cs.CV] |
| （或本版本的 arXiv:2608.23927v3 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2608.23927 arXiv 通过 DataCite 颁发的 DOI |
提交历史
来自：Linhan Wang [查看邮箱]
[v1]
2026年8月25日 星期二 00:19:09 UTC（4,475 KB）
[v2]
2026年9月29日 星期二 19:01:04 UTC（10,056 KB）
[v3]
2026年10月27日 星期二 19:35:18 UTC（10,056 KB）
来源：arXiv cs.AI · arxiv.org