arXiv cs.AI· Jeremy A. Collins, Seungjae Lee, Rachanon Wachakorn, Krishnan Srinivasan, Animesh Garg, Vitor Campagnolo Guizilini, Paarth Shah·· 2 天前AI 评分38
TAPESTRY：用单一骨干网络同时做视频生成与机器人控制
TAPESTRY: A Single Backbone for Video Generation and Robot Control
AI 导读
TAPESTRY 将预训练视频扩散 Transformer 复用为机器人策略，把每个动作时间步映射为视频 VAE 潜空间中的单 patch token，与视频共用同一套 patchify 层和 Transformer 骨干，推理时无需生成视频。
正文 · AI 翻译
摘要：预训练视频生成模型编码了关于物理交互的丰富先验，但将其用于机器人控制通常需要在测试时进行资源密集的视频生成，或者从头训练动作头，而后者无法充分利用预训练主干。我们提出了在共享 Transformer 策略中将动作令牌化为视频块（TAPESTRY），这是一种世界动作模型，它将预训练视频扩散 Transformer 改造成机器人策略，而无需在推理时生成视频。我们的核心思想是将机器人动作视为视频模型潜在空间中的单块令牌。一个轻量级线性投影将每个动作时间步映射到预训练 VAE 的块维度，生成的令牌由与视频相同的分块层和 Transformer 主干处理。共享主干通过每个小批量元素采样的三个扩散目标进行优化：视频扩散使用来自机器人和人类视频的 VAE 潜在变量来建立动力学先验。联合视频+动作扩散在机器人演示上训练，使用耦合的扩散时间步和非对称注意力掩码。仅动作扩散以干净图像潜在变量为条件对动作去噪。在测试时，模型从纯噪声出发，在单个 DDIM 步骤中生成紧凑的动作令牌序列，在消费级硬件上每个动作块耗时 84 毫秒，产生平滑的动作块，并避免了完整视频生成的成本。在仿真基准和真实机器人实验中，TAPESTRY 取得了强劲的性能，推理成本显著低于可比的联合视频-动作策略。更多信息可在 此 https URL 找到。
| 评论： | 被接收至机器人学习会议（CoRL）2026 |
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.36823 [cs.RO] |
| （或 arXiv:2610.36823v1 [cs.RO] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.36823 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jeremy Collins [查看电子邮件]
[v1]
2026年10月27日星期二 08:23:30 UTC（3,146 KB）
来源：arXiv cs.AI · arxiv.org