arXiv cs.AI· Yifeng Yao, Jinghan Li, Zhihao Zhang, Yajiao Xiong, Yang Jin, Kun Xu, Huishuai Zhang, Dongyan Zhao·· 11 小时前AI 评分38
VANE：在嵌入空间做下一帧预测的统一视觉世界模型预训练框架
Learning from Next-Frame Prediction: Towards Unified and Scalable Visual World Modeling
AI 导读
研究者提出自监督视觉预训练框架 VANE，在冻结语义 tokenizer 提供的固定嵌入空间中用因果编码器总结过去观测、由状态预测器推断整帧表示，并以轻量生成解码器重建未来帧 patch 保留细节。
正文 · AI 翻译
摘要：视频提供了一种天然的监督来源：接下来发生的事情可作为视觉世界建模的学习信号。然而，掩码视频预训练侧重于从周围上下文恢复缺失内容，而非从过去预测未来。自回归方法则一次向前预测一个 token，但在表示质量上尚未能与联合嵌入方法匹敌。这一差距促使我们重新审视未来预测的粒度和空间。在本工作中，我们提出了 VANE，一个基于嵌入空间中下一帧预测的自监督视觉预训练框架。因果编码器将过去的观测汇总给状态预测器，后者推断整个下一帧的表示，使时间演化成为主要的学习信号。该预测在由冻结语义分词器提供的固定嵌入空间中进行，强调场景内容和结构。为了在语义内容之外保留细粒度的空间细节，一个轻量级辅助生成解码器以预测的表示为条件重建未来帧的图块。为了统一图像和视频的视觉建模，我们为静态图像构建了从局部到全局的裁剪序列，使同一编码器能够在相同目标下从较早的裁剪中预测新揭示的区域。实验表明，VANE 随模型和数据规模的扩展而提升，在统一编码器中于大多数预期、识别和密集感知基准上达到 SOTA。特别是在 EPIC-KITCHENS-100 动作预期上，其平均类别 recall@5 超过 V-JEPA 2.1 达 7.1 个百分点。这些结果表明，嵌入空间中的下一帧预测对于视觉世界建模是有效且可扩展的。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.30724 [cs.CV] |
| （或 arXiv:2610.30724v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.30724 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yifeng Yao [查看邮箱]
[v1]
2026年10月22日星期四 04:46:49 UTC（3,474 KB）
[v2]
2026年10月23日星期五 03:33:22 UTC（3,474 KB）
来源：arXiv cs.AI · arxiv.org