arXiv cs.AI· Xinyu Chen, Song Wu, Dingbao Shao, Jiahang Li, Jiang Lin, Yuhang Liu, Duo Li, Jiaxin Hu, Shengrong Gu, Liang Li, Qian Wang, Junlan Feng, Ying Tai, Jian Yang, Zili Yi·· 13 小时前AI 评分32
SemantiScene-Edit：面向指令视频编辑的专家合成监督与双路径源条件
SemantiScene-Edit: Expert-Synthesized Supervision and Dual-Path Source Conditioning for Instruction-Based Video Editing
AI 导读
SemantiScene-Edit 将多模态编码器与预训练视频扩散 Transformer 结合，通过可学习查询和跨注意力传递语义上下文，并在 patch embedding 前拼接源视频 latent 与噪声目标 latent 以保留内容。
正文 · AI 翻译
作者：Xinyu Chen、Song Wu、Dingbao Shao、Jiahang Li、Jiang Lin、Yuhang Liu、Duo Li、Jiaxin Hu、Shengrong Gu、Liang Li、Qian Wang、Junlan Feng、Ying Tai、Jian Yang、Zili Yi
摘要：指令引导的视频编辑要求在保留源视频外观与时间结构的同时执行所请求的修改。我们提出 SemantiScene-Edit，这是一种将多模态编码器与预训练视频扩散 Transformer 耦合的视频编辑器。该编码器联合处理源帧与编辑指令，可学习查询通过可训练连接器和交叉注意力将其语义上下文传递给生成器。一条互补的视觉通路在 patch 嵌入之前将源视频潜变量与含噪目标潜变量拼接，为内容保留提供密集的空间与时间信息。我们采用流匹配以及包含语义对齐、联合适配和高分辨率细化的三阶段图像—视频课程训练该模型。为支持训练，我们构建了超过 120 万条指令条件视频编辑记录，涵盖对象添加、移除、替换和属性修改。我们还构建了一个包含 100 个案例的基准，用于评估指令执行、源内容保留、时间一致性和视觉质量。对比实验表明，SemantiScene-Edit 能有效遵循编辑指令，同时保留源内容。在推理时，该模型仅需一个源视频和一条自然语言指令。
| 主题： | 人工智能（cs.AI）；图形学（cs.GR） |
| 引用为： | arXiv:2609.26015 [cs.AI] |
| （或本版本的 arXiv:2609.26015v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2609.26015 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jiahang Li [查看邮箱]
[v1]
2026年9月22日星期二 11:18:56 UTC（670 KB）
[v2]
2026年10月29日星期四 08:02:49 UTC（21,768 KB）
来源：arXiv cs.AI · arxiv.org