arXiv cs.AI· Junyi Wu, Zekun Li, Chenhongyi Yang, Chen Guo, Lingchen Yang, Yongan Zhang, Xinyi Zhang, Hongbing Hu, Bartek Rymkowski, Srinath Sridhar, Yan Yan, Xijie Huang·· 3 天前AI 评分37
World-T3：用测试时训练作为实时视频世界模型的持久记忆
World-T3: Test-Time Training as Persistent Memory for Real-Time Video World Models
AI 导读
World-T3 是一个相机控制的视频世界模型，通过测试时训练把过往观测固化进模型参数作为持久记忆，并提出递归最小二乘规则以在线姿态键控方式增量更新记忆。在长时程重访基准上，其重访 PSNR 从 13.52 提升至 18.31 dB，绝对旋转误差从 3.344 降至 1.075，并在单张 NVIDIA B200 GPU 上以 1280 x 704 分辨率维持 20.6 FPS。
正文 · AI 翻译
作者：Junyi Wu、Zekun Li、Chenhongyi Yang、Chen Guo、Lingchen Yang、Yongan Zhang、Xinyi Zhang、Hongbing Hu、Bartek Rymkowski、Srinath Sridhar、Yan Yan、Xijie Huang
摘要：视频世界模型的最新进展已能构建出逼真的交互式环境，但长时程生成对视觉记忆提出了根本性要求：随着模型持续生成，先前观察到的世界必须保持一致。现有的自回归方法通常隐式地依赖生成模型自身来保留此类信息，导致超出活跃上下文后出现空间记忆衰减。我们提出 World-T3，一种相机控制的视频世界模型，其具备测试时训练记忆，可将过去的观察结果整合到专门的模型参数中。为稳健地更新该记忆，我们提出一种递归最小二乘规则，通过在线姿态键控记忆更新来增量吸收新的视觉特征。我们的 TTT 记忆通过相机姿态从快速权重状态中读出先前观察到的场景特征，从而无论 rollout 长度如何，都能以恒定的存储和每步计算量实现一致的生成。为利用这一稳健记忆实现实时交互式生成，我们进一步通过双教师分布匹配将自回归模型蒸馏为少步生成器。在长时程重访基准上，World-T3 将重访 PSNR 从 13.52 提升至 18.31 dB，并将绝对旋转误差从 3.344 降至 1.075，在这两项指标上均优于最强基线，同时在单块 NVIDIA B200 GPU 上以 1280 x 704 分辨率保持 20.6 FPS。
| 评论： | 项目页面：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；多媒体（cs.MM） |
| 引用为： | arXiv:2610.17434 [cs.CV] |
| （或 arXiv:2610.17434v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17434 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Xijie Huang [查看电子邮件]
[v1]
2026年10月12日星期一 21:52:46 UTC（25,703 KB）
来源：arXiv cs.AI · arxiv.org