FacEDiT 将说话头视频编辑转为面部运动填充

Kim Sung-Bin 等作者提出 FacEDiT，把说话头视频的局部编辑（插入、删除、替换）建模为“面部运动填充”任务：用普通视频-语音对做自监督训练，从语音和周围运动上下文恢复被遮挡的面部运动，因此无需成对编辑数据。模型采用掩码控制、局部时间注意力偏置和时间平滑正则，以提升唇音对齐与编辑边界的过渡连续性。 团队同时发布首个说话头视频编辑基准 FacEDiTBench。作者称，同一模型只需改变掩码模式，即可扩展到人像动画与唇同步。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。