如何消除自监督语音表征中的口音-语言混淆以提升语言识别

Mitigating Accent-Language Confusion in Self-Supervised Speech Representations for Language Identification

AI 导读

针对自监督语音表征微调的 LID 模型常把非母语（L2）口音误判为说话人母语（L1）的问题，研究者提出一种几何投影方法，仅用母语语音估计 L1 偏置方向，并在冻结的 LID 头之前将其移除。在五个 MMS-LID 模型和非母语语料上，该方法显著提升了对 L2 口音语音的目标语言识别，同时保持母语语音预测不变，且无需 L2 训练数据或模型适配。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：口语语种识别（LID）旨在识别目标语言，而不受口音影响。然而在实践中，从自监督语音表征微调而来的 LID 模型常常将口音与语言混淆，把非母语（L2）语音误判为说话者的第一语言（L1）。我们表明，非母语语音表征位于母语目标语言与母语 L1 两极之间，从而导致系统性误分类。为解决这一问题，我们引入一种几何投影，仅从母语语音中估计 L1 偏置方向，并在冻结的 LID 头之前将其去除。在五个 MMS-LID 模型和非母语语料库上，该投影显著提升了对带 L2 口音语音的目标语言识别，同时保持了对母语语音的预测。这些结果表明，口音引起的 L1 偏置可以直接在表征空间内校正，无需 L2 训练数据或模型适配。

评论：	提交至 ICASSP 2027
主题：	音频与语音处理（eess.AS）；计算与语言（cs.CL）；声音（cs.SD）
引用为：	arXiv:2610.09486 [eess.AS]
	（或 arXiv:2610.09486v1 [eess.AS] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.09486 arXiv 颁发的 DOI 通过 DataCite（待注册）

提交历史

来自：Minu Kim [查看电子邮件]
[v1] 2026年10月7日星期三 05:42:40 UTC（351 KB）

来源：arXiv cs.CL · arxiv.org