arXiv cs.AI· Kim Sung-Bin, Joohyun Chang, David Harwath, Tae-Hyun Oh·· 11 小时前AI 评分31
FacEDiT：通过面部运动填充实现说话头视频编辑
FacEDiT: Talking Head Video Editing via Facial Motion Infilling
AI 导读
FacEDiT 将说话头视频的局部编辑（插入、删除、替换）建模为面部运动填充任务，用普通视频-语音对做自监督训练，无需成对编辑数据。模型采用掩码控制、局部时间注意力偏置和时间平滑正则，提升唇音对齐与边界过渡连续性。团队同时发布首个说话头视频编辑基准 FacEDiTBench，同一模型改变掩码模式即可扩展到人像动画与唇同步。
正文 · AI 翻译
摘要：在不重新拍摄场景的情况下编辑说话人头视频的局部片段仍然具有挑战性且研究不足。局部编辑，例如插入、删除或替换，需要合成替换片段，同时保持视频其余部分不变。这涉及可变时长的局部重写，同时保持身份、未编辑区域和边界连续性，而标准的语音驱动生成和唇形同步方法并未直接解决这一问题。此外，直接监督不切实际，因为这需要同一人物和场景、仅在局部语音片段上有所不同的配对视频。我们转而将说话人头视频编辑表述为面部运动填充，这是一种自监督的预训练任务，利用普通视频—语音对，从语音和周围运动上下文中恢复被掩蔽的面部运动。我们的关键洞见是，局部视频编辑可以在训练期间通过掩蔽一段运动跨度并从语音和可见运动上下文中重建它来模拟。基于这一表述，我们提出了 FacEDiT，一种掩码控制的说话人头模型，具有局部时间注意力偏置和时间平滑正则化，以改善唇—语音对齐和过渡连续性。我们还提出了 FacEDiTBench，这是首个用于说话人头视频编辑的基准，涵盖多样的编辑类型和长度，并配有专门的评估指标。大量实验表明，FacEDiT 能够产生准确、与语音对齐的编辑，具有强大的身份保持和无缝的边界过渡。除编辑之外，同一面部运动填充模型通过简单改变掩码模式即可扩展到肖像动画和唇形同步，使 FacEDiT 成为说话人头视频编辑与生成的统一框架。
| 评论： | NeurIPS 2026；项目页面：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2512.14056 [cs.CV] |
| （或 arXiv:2512.14056v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2512.14056 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Kim Sung-Bin [查看电子邮件]
[v1]
2025年12月16日星期二 03:49:52 UTC（6,431 KB）
[v2]
2026年11月5日星期四 14:07:27 UTC（7,497 KB）
来源：arXiv cs.AI · arxiv.org