研究定位TTS模型语调生成机制

Juan Pablo Vigneaux 与 Jennifer Cole 发表研究，考察基于残差向量量化的文本转语音（TTS）模型如何生成英语核心语调，并尝试干预控制。该模型分两阶段生成音频：transformer 主干输出每帧 token 栈的第一层，较小的 depth 模型自回归生成其余部分。 研究发现，主干隐藏状态经 depth 模型把陈述句降调、疑问句升调等英语核心语调传递到波形，而 token 栈第一层几乎不携带这一信息。 在控制手段上，基于提示词的控制大多失效，仅句末问号是可靠手段。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。