arXiv cs.CL· Juan Pablo Vigneaux, Jennifer Cole·· 11 小时前AI 评分31
通过引导文本转语音合成中的语调旋律控制语音韵律
Steering intonational tunes in text-to-speech synthesis
AI 导读
基于残差向量量化的 TTS 模型分两阶段生成音频：transformer 主干输出每帧 token 栈的第一层，较小的 depth 模型自回归生成其余部分。研究发现主干隐藏状态经 depth 模型将英语核心语调（如陈述句降调与疑问句升调）传递至波形，而 token 栈第一层几乎不携带该信息；基于提示词的控制大多失效，仅句末问号是可靠手段。
正文 · AI 翻译
摘要：基于残差向量量化的文本转语音系统通常分两个阶段生成音频：一个 transformer 主干网络输出每一帧 token 栈的第一层，一个较小的深度模型自回归地生成其余部分。我们探究此类模型的哪些组件负责韵律语调，更准确地说，负责生成英语核心语调（例如区分陈述句的下降音调旋律与疑问句的上升旋律），以及对这些组件的干预能否用于控制语调。基于提示的控制大多失败；只有句末问号是可靠的调节手段。在 CSM 和 S2 中进行互换干预可定位该语调：主干的隐藏状态通过深度模型将其传递到波形，而栈的第一层几乎不携带或完全不携带该信息。用基于以句末句号或问号生成的新材料计算出的均值差向量来引导主干状态可以改变语调，但向陈述句方向的推动会降低音质。若改用与人类模仿理论指定语调（其文本不含标点）相关的主干状态计算引导向量，并在生成循环内部应用，则在两个系统中都能将大多数录音移至另一条件（即使拟合时未对说话人进行引导），代价是预测自然度略有下降。这些源自模仿的向量与从两种带标点条件得到的向量高度对齐，远超打乱标签的零假设，因此带标点提示的主干状态已经表示了语调。被引导的录音大体上按意图变为下降或上升，但边缘音调的变化比音高重音更连贯，且除这一宽泛趋势外无法精确选择目标语调。
| 评论： | 39 页，25 幅图，12 张表（不含附录为 13 页） |
| 主题： | 声音 (cs.SD)；计算与语言 (cs.CL)；机器学习 (cs.LG) |
| MSC 分类： | 68T07, 68T50, 68T10 |
| ACM 分类： | I.2.7; I.2.6; H.5.5 |
| 引用为： | arXiv:2610.27403 [cs.SD] |
| （或 arXiv:2610.27403v1 [cs.SD] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.27403 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Juan Pablo Vigneaux [查看邮箱]
[v1]
2026 年 10 月 19 日星期一 23:51:11 UTC（2,140 KB）
来源：arXiv cs.CL · arxiv.org