arXiv cs.CL· Zirui Li, Rech Silas, Lauri Juvela, Tom Backstrom, Mikko Kurimo·· 10 天前AI 评分23
EmphTTS:用强化学习实现词级重音控制的 TTS 系统
EmphTTS: an emphasis-control TTS with reinforcement learning
AI 导读
EmphTTS 是一个非自回归 TTS 系统,将 GRPO 应用于时长预测器并配合重音定位奖励,实现对词级重音的直接优化。评测显示其在重音可控性和重音客观评价上均表现最佳,主观偏好测试中显著优于合成 groundtruth 和多数基线。消融实验表明 GRPO 的重音实现效果优于监督微调时长建模和简单语速调整,同时缓解了独立训练的时长预测器与 TTS 模型之间的不匹配。
正文 · AI 翻译
摘要:生成可控且类人的强调在文本转语音中仍是一个未解决的挑战,即使在文本输入中提供了显式的强调控制信号,也限制了合成语音在现实应用中的交际准确性。强化学习最近在训练后 TTS 系统以对齐人类偏好方面显示出前景,但现有方法尚未应用于词级韵律控制。我们提出 EmphTTS,一种非自回归 TTS 系统,将组相对策略优化(GRPO)应用于时长预测器并带有强调定位奖励,从而能够针对词级强调进行直接优化。评估表明,EmphTTS 实现了最佳的强调可控性,并在强调客观评估中表现最佳。在主观偏好测试中,EmphTTS 显著优于合成真值和大多数基线。消融研究表明,GRPO 在强调实现方面优于基于监督微调的时长建模和简单的语速调整,同时缓解了独立训练的时长预测器与 TTS 模型之间的不匹配。
| 评论: | 5 页。已投稿至 ICASSP 2027 |
| 主题: | 音频与语音处理(eess.AS);计算与语言(cs.CL) |
| 引用为: | arXiv:2609.27599 [eess.AS] |
| (或 arXiv:2609.27599v2 [eess.AS] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2609.27599 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Zirui Li [查看邮箱]
[v1]
2026年9月23日星期三 09:15:25 UTC(1,776 KB)
[v2]
2026年10月6日星期二 08:34:59 UTC(1,776 KB)
来源:arXiv cs.CL · arxiv.org