arXiv cs.CL· Shiao Zhu, Lianbo Liu, Sizhen Lyu, Yuzhe Wang, Sheng Li, Takahiro Shinozaki·· 9 天前AI 评分23
超越语音描述：面向对话式 TTS 的语音奖励风格规划（SRSP）
Beyond Speech Captions: Speech-Rewarded Style Planning for Conversational Text-to-Speech
AI 导读
研究者提出 Speech-Rewarded Style Planning（SRSP），通过冻结的下游 TTS 模型训练文本风格规划器，用 GRPO 以目标语音 token 的 teacher-forced 似然为奖励生成候选指令。
正文 · AI 翻译
摘要：自然语言风格描述为大型语言模型（LLM）与可控文本转语音（TTS）之间提供了可解释的接口。然而，将描述用作伪标签会把目标声学信息压缩为文本，而描述保真度并不一定意味着能有效控制特定的合成器。我们通过实验表明，对于同一话语的候选指令，语音-文本对齐只能微弱地预测下游声学相似度。因此，我们提出语音奖励风格规划（SRSP），通过一个冻结的下游 TTS 模型来训练基于文本的风格规划器。给定对话历史和回复文本，规划器生成候选指令，并使用组相对策略优化（GRPO）进行优化，以目标语音 token 的教师强制似然作为奖励。在 ISCSLP 2026 CoT-TTS 语料库的英语子集上，SRSP 相比 Base LLM 和以目标音频为依据的字幕基线，实现了更高的语音风格和情感与目标语音的相似度，以及更低的梅尔倒谱失真。基于 LLM 的表现性语音评估进一步显示，在上下文适当性和参考一致性方面均优于所有基线。
| 主题： | 声音（cs.SD）；计算与语言（cs.CL）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2610.11461 [cs.SD] |
| （或使用 arXiv:2610.11461v1 [cs.SD] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.11461 arXiv 颁发的 DOI，通过 DataCite（待注册） |
提交历史
来自：Shiao Zhu [查看邮箱]
[v1]
2026年10月8日星期四 08:12:28 UTC（92 KB）
来源：arXiv cs.CL · arxiv.org