Align Then Reason：面向配音的多模态唇形同步评判模型

针对配音质检中无参考音频、仅凭静音视频与文本判断口型是否匹配的需求，研究者提出多模态唇形同步评判模型 Align Then Reason（ATR）。该模型先在帧级唇部动作与文本间建立单调对齐，再进行推理判断，支持多语言。现有视觉语音识别器与视频语言模型即使经过微调，仍对时间错位不敏感，难以胜任该任务。