arXiv cs.AI· Runyuan Cai, Yu Lin, Yiming Wang, Xiaodong Zeng·· 3 天前AI 评分38
Audio8-TTS：训练紧凑、强大且逼真的文本转语音模型
Training a Compact, Strong, and Realistic Text-to-Speech Model
AI 导读
研究团队提出 Audio8-TTS，一个 0.6B 参数的紧凑零样本语音克隆模型，在可懂度和说话人相似度上达到 SOTA，感知自然度尤为突出。
正文 · AI 翻译
摘要：文本转语音（TTS）系统通常针对可懂度和说话人相似度进行优化。然而，这两个目标都无法捕捉区分人类表演与合成语音的韵律细节，留下了一个真实感差距，更大的模型和更高质量的数据可以缩小但无法弥合这一差距。在缺乏直接针对这一差距的目标的情况下，真实感仍然是 TTS 中一个持续存在的挑战。我们提出 Audio8-TTS，一个紧凑的 0.6B 参数模型，用于零样本语音克隆，在可懂度和说话人相似度方面达到最先进性能，在感知自然度方面尤其表现突出。为使训练信号与人类感知而非信号级保真度对齐，我们从广泛使用的开源 TTS 系统构建了一个质量阶梯，并训练一个真实感评判器，将生成的语音与相同句子的匹配人类录音进行评估。身份擦除目标阻止评判器依赖生成器指纹。我们分三个阶段训练模型：多语言监督微调；使用词错误率（WER）和说话人相似度（SIM）奖励的组相对策略优化（GRPO）；以及由真实感评判器引导的 GRPO。最后阶段提升了感知韵律自然度和说话人相似度，同时保持了 WER 性能。
| 主题： | 声音（cs.SD）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.14776 [cs.SD] |
| （或 arXiv:2610.14776v1 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14776 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yiming Wang [查看电子邮件]
[v1]
2026年10月10日星期六 09:59:46 UTC（221 KB）
来源：arXiv cs.AI · arxiv.org