arXiv cs.AI· Jianhui Zhang, Zuyao Lin, Pengxin Xu, Jingdong Wang, Xingyu Chen·· 3 天前AI 评分26
4LC:面向动态世界建模高效条件生成的 4D 潜在缓存
4LC: 4D Latent Cache for Efficient Conditioning in Dynamic World Modeling
AI 导读
研究者提出 4LC,一种带复合视觉表征与灵活时空访问接口的 4D 潜在缓存,可直接复用静态与动态内容的视觉表征作为生成条件,避免逐次 RGB 渲染与重编码。4LC 将 VAE、DINO、V-JEPA、VGGT 等多个视觉编码器的表征绑定到共享几何与运动上,并支持在任意指定时间与视角读取缓存。
正文 · AI 翻译
摘要:在动态世界建模的视频生成中,应高效复用观测到的静态和动态内容,为在不同时间和视角下的重复生成提供条件。我们提出 4LC,一种具有复合视觉表示和灵活时空访问接口的 4D 潜在缓存。作为潜在缓存,4LC 直接复用静态和动态内容的视觉表示来提供生成条件,避免了每次请求的 RGB 渲染和重新编码。作为复合缓存,4LC 将来自多个视觉编码器(例如 VAE、DINO、V-JEPA、VGGT)的视觉表示绑定到共享的几何和运动上,使复合表示能够以丰富的信息描述动态世界。此外,我们设计了一个灵活的时空接口,它可以直接在独立指定的时间和视角读取缓存,并组合跨观测的读取结果,为各种下游任务提供通用的条件格式。基于 4LC,我们开发了 4LC-Video,通过源观测、时空请求和历史复用的不同配置来解决多种视频生成任务,包括相机控制、时间控制、新视角合成、场景重访和长期生成。我们的实验表明,使用单个 4LC-Video 模型而无需针对特定任务进行微调,即可实现更高效的条件获取、有效的时空可控性以及跨任务的场景一致性。
| 评论: | 项目页面:this https URL |
| 主题: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI) |
| 引用为: | arXiv:2610.17625 [cs.CV] |
| (或 arXiv:2610.17625v1 [cs.CV] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.17625 arXiv 颁发的 DOI 通过 DataCite(待注册) |
提交历史
来自:Jianhui Zhang [查看电子邮件]
[v1]
2026年10月13日星期二 02:47:58 UTC(11,757 KB)
来源:arXiv cs.AI · arxiv.org