arXiv cs.CL· Yuanzhong Zheng, Wei Huang, Ming Ma, Kailun Jin, Youhai Jiang·· 12 小时前AI 评分29
可解码性不等于可控性：连续隐空间 TTS 中的局部与各向异性说话人控制
Decodability Is Not Controllability: Local and Anisotropic Speaker Control in Continuous-Latent TTS
AI 导读
在 VoxCPM2 上，30 位说话人、60 组有向说话人对的实验显示，最终残差声学语言模型层（RALM L7）的参考音频状态探针准确率达 0.970，但对齐编辑后 60 组中 0 组实现目标说话人主导。
正文 · AI 翻译
摘要：在连续潜变量文本到语音（TTS）中，高线性可解码性并不意味着因果可控性。在 VoxCPM2 中，跨 30 位说话人和 60 个有向二元组的同位置探针与等范数干预揭示了这种分离：在最终残差声学语言模型层（RALM L7）的参考音频状态仍保持 0.970 的探针准确率，但对齐编辑在 60 个二元组中产生 0 个目标主导的二元组。在早期参考音频位置进行编辑则产生相反的模式。在 L0 层，配对对齐的更新将目标相似度提高 0.326，并在全部 60 个二元组中实现目标主导，而在任何等范数方向或位置控制下最多为 1/60。独立的说话人编码器、针对留出说话人原型的检索以及双盲听测均证实，偏移后的声音被听作预期的目标。在 此 http URL 中的跨架构干预区分了骨干杠杆与直接声学控制：骨干编辑使源发生位移而无目标吸引，而 x-vector 消融将源相似度从 0.849 降至 0.006。这些发现确定了免训练说话人控制的两个要求：几何特异性，以及一条将预期说话人条件带入声学合成的计算路径。
| 主题： | 声音（cs.SD）；计算与语言（cs.CL）；机器学习（cs.LG）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2610.29345 [cs.SD] |
| （或 arXiv:2610.29345v1 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29345 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuanzhong Zheng [查看电子邮件]
[v1]
2026年10月21日星期三 07:38:25 UTC（310 KB）
来源：arXiv cs.CL · arxiv.org