跳到正文
arXiv cs.AI· Jianhui Zhang, Zuyao Lin, Pengxin Xu, Jingdong Wang, Xingyu Chen·· 3 天前AI 评分26

4LC:面向动态世界建模高效条件生成的 4D 潜在缓存

4LC: 4D Latent Cache for Efficient Conditioning in Dynamic World Modeling

AI 导读

研究者提出 4LC,一种带复合视觉表征与灵活时空访问接口的 4D 潜在缓存,可直接复用静态与动态内容的视觉表征作为生成条件,避免逐次 RGB 渲染与重编码。4LC 将 VAE、DINO、V-JEPA、VGGT 等多个视觉编码器的表征绑定到共享几何与运动上,并支持在任意指定时间与视角读取缓存。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:在动态世界建模的视频生成中,应高效复用观测到的静态和动态内容,为在不同时间和视角下的重复生成提供条件。我们提出 4LC,一种具有复合视觉表示和灵活时空访问接口的 4D 潜在缓存。作为潜在缓存,4LC 直接复用静态和动态内容的视觉表示来提供生成条件,避免了每次请求的 RGB 渲染和重新编码。作为复合缓存,4LC 将来自多个视觉编码器(例如 VAE、DINO、V-JEPA、VGGT)的视觉表示绑定到共享的几何和运动上,使复合表示能够以丰富的信息描述动态世界。此外,我们设计了一个灵活的时空接口,它可以直接在独立指定的时间和视角读取缓存,并组合跨观测的读取结果,为各种下游任务提供通用的条件格式。基于 4LC,我们开发了 4LC-Video,通过源观测、时空请求和历史复用的不同配置来解决多种视频生成任务,包括相机控制、时间控制、新视角合成、场景重访和长期生成。我们的实验表明,使用单个 4LC-Video 模型而无需针对特定任务进行微调,即可实现更高效的条件获取、有效的时空可控性以及跨任务的场景一致性。
评论: 项目页面:this https URL
主题: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI)
引用为: arXiv:2610.17625 [cs.CV]
  (或 arXiv:2610.17625v1 [cs.CV] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.17625

arXiv 颁发的 DOI 通过 DataCite(待注册)

提交历史

来自:Jianhui Zhang [查看电子邮件]
[v1] 2026年10月13日星期二 02:47:58 UTC(11,757 KB)

来源:arXiv cs.AI · arxiv.org