arXiv cs.AI· Yiquan Zhou, Yixuan Wang, Xiaozhe Qi, Xin Gao, Shihao Li·· 12 小时前AI 评分34
音色藏在哪里？语音信号中说话人信息的定位研究
Where Does Timbre Hide? Localizing Speaker Information in Speech Signals
AI 导读
研究以说话人身份为可测量代理，系统探测了语音中音色信息的分布位置：1–8 kHz 幅度与声道谱包络结构主导听感，8 kHz 以上频段仍具机器判别力，浅层 SSL 层暴露紧凑的说话人信息，token 泄漏程度取决于 tokenizer 与层选择。
正文 · AI 翻译
摘要：音色相似度是生成式语音系统的关键评估目标，包括语音转换、说话人克隆文本转语音和零样本语音模型。当生成语音与目标说话人不匹配时，问题往往反映出说话人相关音色与内容分离不完美，因此识别音色信息所在位置以及哪些表示仍携带该信息十分重要。以说话人身份作为可测量的代理，我们探测了频带、相位/幅度结构、WORLD 源/滤波器分解、浊音/清音区域、自监督学习（SSL）层、EnCodec/HuBERT 标记，并在普通话、英语和日语的语音/歌唱数据上进行了 45 名听者的测试。说话人信息是分布的：1--8 kHz 幅度和声道谱包络结构主导感知，8 kHz 以上频带仍具机器判别性，浅层 SSL 层暴露紧凑的说话人信息，标记泄漏取决于分词器/层选择。这些发现表明生成系统应在何处以说话人信息为条件或对其进行变换，以及内容、编解码器和标记流水线应在何处审计残余说话人泄漏。
| 评论： | 被 SLT2026 接收 |
| 主题： | 声音（cs.SD）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.29150 [cs.SD] |
| （或 arXiv:2610.29150v1 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29150 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yiquan Zhou [查看电子邮件]
[v1]
2026年10月21日星期三 03:35:42 UTC（953 KB）
来源：arXiv cs.AI · arxiv.org