arXiv cs.AI· Ziyun Zeng, Yiqi Lin, Guoqiang Liang, Mike Zheng Shou·· 10 小时前AI 评分38
Sparkle：解耦引导实现生动的指令驱动视频背景替换
Sparkle: Realizing Lively Instruction-Guided Video Background Replacement via Decoupled Guidance
AI 导读
研究团队提出 Sparkle 数据集与配套数据生成管线，通过解耦生成前景与背景引导并严格质量过滤，构建约 140K 视频对、覆盖五类背景更换主题，同时发布目前最大的背景替换评测基准 Sparkle-Bench。基于该数据训练的模型在 OpenVE-Bench 和 Sparkle-Bench 上均显著优于所有现有基线，数据集、基准、模型及完整生成管线已全部开源。
正文 · AI 翻译
摘要：近年来，Senorita-2M 等开源工作推动了视频编辑向自然语言指令方向发展。然而，当前公开可用的数据集主要聚焦于局部编辑或风格迁移，这类任务在很大程度上保留了原始场景结构，也更容易规模化。相比之下，背景替换这一在电影制作和广告等创意应用中至关重要的任务，需要合成全新且时间一致的场景，同时保持准确的前景-背景交互，因此大规模数据生成要困难得多。由于高质量训练数据稀缺，这一复杂任务在很大程度上仍未被充分探索。这一缺口在表现不佳的先进模型（如 Kiwi-Edit）上体现得很明显，因为包含该任务的主要开源数据集 OpenVE-3M 经常生成静态、不自然的背景。在本文中，我们将这种质量下降归因于数据合成过程中缺乏精确的背景引导。据此，我们设计了一个可扩展的流水线，以解耦方式生成前景和背景引导，并进行严格的质量过滤。基于该流水线，我们推出了 Sparkle，这是一个约 14 万对视频的数据集，涵盖五种常见的背景变化主题，同时推出了 Sparkle-Bench，这是迄今为止专为背景替换量身定制的最大评估基准。实验表明，我们的数据集以及在其上训练的模型在 OpenVE-Bench 和 Sparkle-Bench 上均取得了显著优于所有现有基线的性能。我们提出的数据集、基准、模型以及完整的数据生成流水线均在 此 https URL 上完全开源。
| 评论： | NeurIPS 2026 E&D Camera Ready Version；项目页面：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.06535 [cs.CV] |
| （或 arXiv:2605.06535v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.06535 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ziyun Zeng [查看邮箱]
[v1]
2026年5月7日星期四 16:35:34 UTC（18,466 KB）
[v2]
2026年10月30日星期五 08:21:34 UTC（19,156 KB）
来源：arXiv cs.AI · arxiv.org