arXiv·· 13 天前AI 评分31
UltraDub：统一视觉引导流学习与轨迹引导实现真实配音
UltraDub: Towards Authentic Dubbing by Unifying Visually-Steered Flow Learning and Trajectory Guidance
AI 导读
UltraDub 是一个统一视觉引导流学习与轨迹引导的配音框架，将视觉同时用作多模态上下文聚合的连续运动信号和轨迹修正的结构节奏。该框架针对顺序多模态条件破坏时序与说话人线索、以及推理引导不平衡导致唇形同步受损的问题提出解决方案。
来源：arXiv · arxiv.org