arXiv cs.AI· Leigang Qu, Feng Cheng, Ziyan Yang, Bangbang Yang, Zhaoyang Huang, Wei Chow, Yicong Li, Wenjie Wang, Tat-Seng Chua, Yan Zeng·· 9 天前AI 评分27
VINCIE-NExT：通过上下文建模从图像解锁视频编辑
VINCIE-NExT: Unlocking Video Editing from Images via In-Context Modeling
AI 导读
VINCIE-NExT 提出统一框架，通过上下文视觉演示将图像编辑能力迁移至视频，缓解大规模配对视频编辑数据稀缺问题。该方法将视频编辑分解为 Video→Image→Image→Video 的可组合子任务链，并引入新位置编码在共享空间坐标系中对齐图像演示与视频帧，实现外观编辑的像素级传播。
正文 · AI 翻译
摘要：构建一个功能强大的视频编辑器仍然比视频生成器困难得多：编辑需要（源、指令、编辑后）三元组，而这类数据的标注成本高得令人望而却步，且难以大规模合成；相比之下，图像编辑已经成熟，拥有数百万对现成可用的此类数据。在这项工作中，我们提出了 VINCIE-NExT，一个统一框架，通过上下文视觉演示将编辑能力从图像迁移到视频，从而缓解了对大规模成对视频编辑数据的需求。VINCIE-NExT 将视频编辑分解为一条由可组合子任务构成的结构化链条（视频 -> 图像 -> 图像 -> 视频），将编辑意图路由至图像域，并在统一的扩散目标下实现来自异构图像与视频语料库的可扩展联合训练。由模型合成或用户提供的图像编辑对会被前置为上下文视觉演示，作为每个输出帧的空间外观蓝图。为了在交错上下文中锚定外观编辑，我们引入了一种新颖的位置编码，将图像演示与视频帧链接在共享的空间坐标系中，使外观变化能够以像素级保真度传播到每个输出帧。Chain-of-Editing 进一步提供了有原则的测试时扩展：通过将子任务链作为渐进式扩散阶段执行，无需重新训练即可通过投入额外计算来提升编辑质量。在 OpenVE-Bench 上的全面实验表明，该方法在多种编辑类别中均达到最先进性能，消融实验也证实了每个组件的有效性。
| 评论： | 已被 NeurIPS'26 接收。项目页面：this https URL |
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；多媒体（cs.MM） |
| 引用为： | arXiv:2610.12104 [cs.CV] |
| （或使用 arXiv:2610.12104v1 [cs.CV] 获取此版本） | |
| https://doi.org/10.48550/arXiv.2610.12104 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Leigang Qu [查看邮箱]
[v1]
2026年10月8日星期四 15:03:48 UTC（20,286 KB）
来源：arXiv cs.AI · arxiv.org