arXiv cs.CL· Tianze Xu, Xiyang Li, Xiaoming Jiang, Volker Dellwo·· 10 小时前AI 评分29
深度神经说话人嵌入的类人跨语言泛化及其声学基础
Human-like cross-language generalisation in deep neural speaker embeddings and its acoustic foundations
AI 导读
研究用粤语—英语双语语音测试18个SOTA模型，发现深度神经说话人嵌入具备跨语言泛化能力，其表现与人类听感大体一致，能准确区分说话人身份并对语言切换敏感。这种泛化依赖基本共享的声学线索，但权重随语言变化，与人类模式相似，为跨语言语音相似性处理中的人机对齐提供了汇聚证据。
正文 · AI 翻译
摘要：泛化性是深度神经网络的核心问题，包括说话人嵌入的跨语言泛化。本研究考察了深度神经说话人嵌入能否跨语言泛化，以及这种泛化如何与人类感知和声学结构相关联。我们使用以语内和跨语言条件呈现的粤语—英语双语语音，从 18 个最先进模型中导出相似度，并使用线性混合模型和表征相似性分析将其与人类评分和声学特征进行比较。嵌入表现出跨语言泛化，与人类行为大体平行，反映了准确的身份辨别和对语言切换的敏感性。这种泛化依赖于基本共享的声学线索，并具有语言敏感加权，与人类模式相呼应。总之，这些发现为跨语言语音相似性处理中的人机对齐提供了汇聚性证据。
| 评论： | 本手稿已被接收在 Interspeech 2026 上展示。代码可在 此 https URL 获取。存档版本可在 Zenodo 上通过 此 https URL 获取。 |
| 主题： | 计算与语言（cs.CL）；声音（cs.SD）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2611.05384 [cs.CL] |
| （或 arXiv:2611.05384v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.05384 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Tianze Xu [查看电子邮件]
[v1]
2026 年 8 月 2 日星期日 09:26:16 UTC（119 KB）
来源：arXiv cs.CL · arxiv.org