arXiv cs.CL· Joonyong Park, Jerry Li·· 14 小时前AI 评分27
当人设与台词冲突：诊断 Chain-of-Thought TTS 中的计划到合成失败
When the Persona Contradicts the Line: Diagnosing Plan-to-Synthesis Failures in Chain-of-Thought TTS
AI 导读
研究构建了日英双语人设—台词冲突基准，每项将台词与一致及冲突人设配对并预先标注期望的声学方向，用于追踪 Chain-of-Thought TTS 中意图在规划短语、规划器情感向量、QwenEmotion 向量和渲染波形四个环节的丢失情况。
正文 · AI 翻译
摘要：思维链 TTS 系统依赖语言模型规划器将人物设定与上下文转化为语音表达，但当所要求的情感与词汇情感相冲突时，这种意图在何处丢失尚不明确。我们引入了一个日英双语的人物设定—台词冲突基准，其中每一项都将一句台词与一致和冲突的人物设定配对，并预先声明预期的声学方向。我们在规划器生成的表达短语、规划器编写的情感向量、QwenEmotion 生成的向量以及渲染波形中探测这一方向。规划器输出通常在方向上正确，而下游的一致性可能显著更低。绕过 QwenEmotion 相比完全由规划器控制的 Base 仅带来有限提升。对 QwenEmotion 进行监督可将方向正确率提升至日语 75% 和英语 84%。学习式文本到潜在接口达到最高的英语正确率 89% 和最高的日语唤醒度正确率 88%。这些结果表明，对规划到合成接口的学习式修复可以恢复反文本的表达，尽管其效果因语言和声学维度而异。
| 评论： | 提交至 ICASSP 2027 |
| 主题： | 计算与语言（cs.CL）；声音（cs.SD）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2610.35008 [cs.CL] |
| （或 arXiv:2610.35008v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35008 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Joonyong Park [查看邮箱]
[v1]
2026年10月26日 星期一 08:20:47 UTC（123 KB）
来源：arXiv cs.CL · arxiv.org