arXiv cs.AI· Tianbin Liu, Jian Zhu, Taiyi Su, Jianjun Zhang, Chong Ma, Zitai Huang, Weiyi Lu, Yi Xu·· 10 天前AI 评分28
CSWAM：基于 V-JEPA 2.1 的因果语义世界动作模型，提升分布外泛化能力
CSWAM: Better Causal Semantic Representations for Out-of-Distribution Generalization in World Action Models
AI 导读
研究者提出因果语义世界动作模型 CSWAM，在 FastWAM 基础上引入基于 V-JEPA 2.1 的因果语义专家，从稀疏历史观测中学习语义状态变化与运动的未来演化，并通过因果注意力与视频、动作流共享上下文。
正文 · AI 翻译
摘要：FastWAM 风格的世界动作模型能够实现高效的动作-only 推理，但在视觉分布偏移下泛化能力较差。其面向重建的表征强调外观特定细节，限制了对未见场景和物体的泛化。在没有观测历史的情况下，模型也缺乏时间证据，无法在陌生视觉条件下稳健地识别任务相关的状态变化和运动。为解决这些局限，我们提出因果语义世界动作模型（CSWAM），它在 FastWAM 基础上增加了一个基于 V-JEPA 2.1 的因果语义专家。V-JEPA 提供具有时间基础的语义状态变化和运动表征，对外观特定细节的依赖更少。该专家从当前和过去观测的稀疏历史中学习其未来演化，并通过因果注意力与视频流和动作流共享由历史导出的上下文。在推理时，CSWAM 以当前视频状态和观测到的语义历史为条件进行动作去噪，同时保留高效的动作-only 推理。我们进行了仿真和真实机器人实验，以评估分布偏移下的泛化能力。在具身预训练下，CSWAM 将 RoboTwin 2.0 Clean-to-Randomized 迁移的 Randomized 成功率从 10.16% 提升至 45.18%，相比 FastWAM 提升 35.02 个百分点。在两个真实机器人任务和三个 OOD 难度级别上，CSWAM 将平均成功率相比 FastWAM 提升 42.5 个百分点，从 27.5% 提升至 70.0%。
| Comments: | 13 pages, 2 figures |
| Subjects: | Computer Vision and Pattern Recognition (cs.CV); Artificial Intelligence (cs.AI) |
| Cite as: | arXiv:2609.18462 [cs.CV] |
| (or arXiv:2609.18462v5 [cs.CV] for this version) | |
| https://doi.org/10.48550/arXiv.2609.18462 arXiv-issued DOI via DataCite |
Submission history
From: Jian Zhu [view email]
[v1]
Wed, 16 Sep 2026 10:56:39 UTC (1,172 KB)
[v2]
Thu, 17 Sep 2026 01:35:06 UTC (1,172 KB)
[v3]
Sun, 20 Sep 2026 02:41:43 UTC (961 KB)
[v4]
Sun, 4 Oct 2026 10:28:10 UTC (1,647 KB)
[v5]
Tue, 6 Oct 2026 10:28:06 UTC (1,543 KB)
来源：arXiv cs.AI · arxiv.org