arXiv cs.AI· Jiayi Wu, Haoming Cai, Cornelia Fermuller, Christopher Metzler, Yiannis Aloimonos·· 3 天前AI 评分30
Real2SAM2Real：用生成式 3D 缓存为视频扩散模型提供互补上下文
Real2SAM2Real: Generative 3D Caches as Complementary Context for Video Diffusion
AI 导读
Real2SAM2Real 提出用生成式 3D 缓存为视频扩散模型补充上下文，从单张参考图像估计出拓扑完整、包含未观测表面的物体与人体网格，再以指定相机轨迹和前景运动渲染的法线图引导视频合成。该方法仅用约 2,000 段单目视频训练，无需显式 3D 资产或多轨迹配对录制，支持相机与多实例运动解耦控制，在剧烈视角变化等场景下时空一致性和控制精度优于所评估的 SOTA 方法。
正文 · AI 翻译
摘要：视频扩散模型（VDM）能够合成高质量视频，但当出现大幅视角变化、遮挡变化或复杂动态导致未见过区域暴露时，精确的相机与运动控制仍然具有挑战性。仅靠扩散先验可能产生结构不一致，而扭曲引导可能包含不完整的几何信息和具有误导性的视角相关外观线索。Real2SAM2Real 通过一个由拓扑完整网格构成的粗略 3D 前景缓存来补充 VDM 先验，以实现直观的编辑与动画。生成式 3D 提升从单张参考图像中估计这些物体和人体网格，包括未观测到的表面。在指定相机轨迹和前景运动下渲染的法线图引导 VDM 中的视频合成，而参考图像则提供外观条件。软空间对齐注入和最小侵入式微调在引入该引导的同时，基本保留了预训练的合成先验。解耦条件使得外观和几何编辑可以独立进行。我们使用实例掩码法线序列在约 2,000 个单目视频片段上进行训练，并采用实例级空间扰动，以降低对视频估计的训练法线与推理时从粗略 3D 缓存渲染的法线之间差异的敏感性。训练既不需要显式 3D 资产，也不需要配对的多轨迹录制。Real2SAM2Real 支持解耦的相机和多实例运动控制，包括关节人体。在这些具有挑战性的设置中，实验表明其具有强大的时空一致性，并且在整体控制精度和视频保真度上优于所评估的最先进方法。初步演示表明其具有潜在的机器人应用前景。
| 评论： | 项目页面：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.00299 [cs.CV] |
| （或使用 arXiv:2606.00299v2 [cs.CV] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2606.00299 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Haoming Cai [查看电子邮件]
[v1]
2026年5月29日星期五 19:28:07 UTC（16,020 KB）
[v2]
2026年10月13日星期二 13:56:27 UTC（19,578 KB）
来源：arXiv cs.AI · arxiv.org