研究提出全方位平行监督用于表现力语音翻译

Hao Zhang等作者提出一种训练数据构建策略，将专业配音与多语言语音转换结合，为表现力语音到语音翻译（S2ST）提供在内容、韵律、时序和说话人身份上对齐的全方位平行监督。专业配音提供内容、韵律和时序上的人工对应，多语言语音转换用于减少说话人差异。 基于该监督，作者提出端到端方法DirectS2ST，直接从源语音预测完整目标语音表示。在英语-德语和英语-西班牙语实验中，该方法在内容、韵律、时序、说话人相似度和人工评分表现力上均取得最大提升。

AI 根据报道生成 · 58 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。