跳到正文
arXiv cs.AI· Yifan Chang, Jian Yang, Jiangnan Shao, Xiaofeng Wang, Zhaoxin Fan, Renjing Xu, Ming Lu, Xingang Wang, Zheng Zhu·· 4 小时前AI 评分39

MAVE:从电影镜头重建可编辑 3D 布局,配套 MAVEBench 基准与 MAVEData-3K 数据集

MAVE: Reconstructing Editable 3D Blockouts from Film Shots

AI 导读

MAVE 是一个视频转 3D blockout 框架,结合度量观测、智能体建模与基于证据的验证,输出可编辑 Blender 场景和帧对齐的 blockout 视频。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:动画 3D 布局草图支持预可视化,并为视频生成提供结构条件,但从参考视频手动重建这些内容成本高昂。这既限制了创作者的使用,也限制了配对训练数据的生产。我们推出 MAVEBench,这是一个包含 50 个电影镜头和 416 个关键帧的基准,用于评估相机运动、空间布局和角色调度。我们提出 MAVE,一个视频到布局草图的框架,结合了度量观测、智能体建模和基于证据的验证。它首先在共享的度量坐标系中恢复相机、人体运动和几何证据。然后,一个智能体在这些观测的约束下构建可编辑环境,同时程序化检查报告不一致之处以指导细化。输出是可编辑的 Blender 场景和帧对齐的布局草图视频。在 MAVEBench 上,MAVE 在三个智能体上相比其对应的普通基线,总体得分提高了 27.5-41.1 分。使用 DeepSeek-1017 时,它以每个镜头平均仅 0.054 美元的 API 成本获得 73.2 分,超过了最强的普通基线,同时将总重建时间减少了 53%。我们还构建了 MAVEData-3K,一个包含 3,000 个布局草图-视频对的数据集,用于模型训练,并将公开发布。创作者可以更改视点和角色路径,然后渲染编辑后的场景以条件化视频生成。代码可在 此 https URL 获取。
评论: 此 https URL
主题: 计算机视觉与模式识别 (cs.CV);人工智能 (cs.AI)
引用为: arXiv:2611.22464 [cs.CV]
  (或 arXiv:2611.22464v1 [cs.CV] 为此版本)
  https://doi.org/10.48550/arXiv.2611.22464

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Yifan Chang [查看电子邮件]
[v1] 2026 年 11 月 17 日星期二 09:25:47 UTC(12,279 KB)

来源:arXiv cs.AI · arxiv.org