通过多教师蒸馏学习语音属性表示

Learning Speech Attribute Representations via Multi-Teacher Distillation

AI 导读

研究提出一种多属性多教师蒸馏框架，用共享 SSL 骨干网络和属性专属分支，从四个冻结教师模型学习语义、说话人、语言和情感表示。在多语言语义检索、说话人验证、语言识别和语音情感识别任务上，该模型性能接近专用单任务学生模型，且仅需一个共享编码器。学习到的层聚合策略还揭示不同语音属性自然涌现于 SSL 编码器的不同深度。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：近期的后训练方法表明，通过知识蒸馏，自监督语音编码器可以被调整以学习单一的语句级语音属性。在本工作中，我们研究单个语音编码器能否同时保留多种互补的语句级语音表示。我们提出了一个多属性多教师蒸馏框架，使用共享的 SSL 主干和属性特定分支，从四个冻结的教师模型中学习语义、说话人、语言和情感表示。在多语言语义检索、说话人验证、语言识别和语音情感识别上的实验表明，所提出的模型在仅需单个共享编码器的情况下，性能接近专用的单任务学生模型。此外，学习到的层聚合策略揭示，不同的语音属性自然出现在 SSL 编码器的不同深度，为语音表示的组织方式提供了新的见解。

主题：	计算与语言（cs.CL）
引用为：	arXiv:2610.21941 [cs.CL]
	（或 arXiv:2610.21941v1 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.21941 arXiv 颁发的 DOI 通过 DataCite（待注册）

提交历史

来自：Yannick Estève [查看电子邮件]
[v1] 2026年10月15日星期四 14:15:32 UTC（3,703 KB）

来源：arXiv cs.CL · arxiv.org