arXiv cs.CL· Hao Zhang, Ismail Rasim Ulgen, Bismarck Bamfo Odoom, Rui Liu, Zihan Zhang, Berrak Sisman, Philipp Koehn·· 10 小时前AI 评分26
面向表现力语音到语音翻译的全方位平行监督
Holistic Parallel Supervision for Expressive Speech to Speech Translation
AI 导读
研究提出一种训练数据构建策略，将专业配音与多语言语音转换结合，为语音到语音翻译（S2ST）提供在内容、韵律、时序和说话人身份上对齐的全方位平行监督。基于该监督训练的端到端方法 DirectS2ST 直接从源语音预测完整目标语音表示，在英语-德语和英语-西班牙语实验中于内容、韵律、时序、说话人相似度和人工评分表现力上均取得最大提升。
正文 · AI 翻译
摘要：表现力是语音到语音翻译（S2ST）的核心，但现有数据集很少在内容、韵律、时序和说话人身份上同时对齐源语音和目标语音。因此，当前系统往往依赖间接条件或迁移机制。为获得这种监督，我们引入了一种训练数据构建策略，将专业配音（在内容、韵律和时序上提供人工表演的对应关系）与多语言语音转换相结合，以减少说话人不匹配。我们使用现有的表现力 S2ST 系统和 DirectS2ST 来评估这种监督，DirectS2ST 是本工作中开发的一种端到端方法，可直接从源语音预测完整的目标语音表示。在英语-德语和英语-西班牙语上的实验表明，整体并行监督改善了所有被评估系统的表现力实现。DirectS2ST 在内容、韵律、时序、说话人相似度和人工评定的表现力方面取得了最大提升。据我们所知，本工作首次对表现力 S2ST 的整体并行监督进行了系统研究。
| 评论： | 5 页，1 幅图，5 张表。已提交至 ICASSP 2027 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.06010 [cs.CL] |
| （或 arXiv:2611.06010v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06010 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hao Zhang [查看电子邮件]
[v1]
2026 年 11 月 4 日星期三 06:02:38 UTC（569 KB）
来源：arXiv cs.CL · arxiv.org