语言判别如何提升多语言语音模型的语言学习能力

作者Maureen de Seyssel、Jie Chi*、Zakaria Aldeneh*

多语言自监督语音模型可以从跨语言信息共享中获益，但在总预训练数据预算相同的情况下，它们仍然不如单语言模型。我们表明，在预训练期间增强模型区分语言的能力，可以减少——并在某些指标上消除——这一多语言差距，体现在连续语音和更高层语言指标上，同时保留大量的跨语言共享。使用受控的英语/法语 HuBERT 设置，我们测试了两种增强语言区分的干预措施：辅助语言分类器和按语言的 k-means 目标。在所有干预措施中，连续特征音素区分错误（phone-ABX，↓）从双语基线的 11.6% 降至 10.4%（单语言：10.8%），而词汇表现（sWUGGY，↑）从 52.1% 升至 56.7%（单语言：58.5%），韵律表现（ProsAudit，词汇子任务，↑）从 68.9% 升至 72.9%（单语言：72.6%）。在 HuBERT 训练各阶段中，大多数语言指标上的最大提升出现在第一次迭代引入语言区分时，而较晚或重复的干预带来的改进较小，并伴随着语言间隔离的增加。这些结果支持语言区分在减少多语言学习额外成本中的因果作用。

• * 同等贡献

相关阅读和更新。

自监督学习（SSL）在语音表征学习方面取得了重大进展。wav2vec 2.0 和 HuBERT 等模型在语音识别等任务中取得了最先进的结果，尤其是在单语言设置中。然而，多语言 SSL 模型在每种单独语言上往往不如其单语言对应模型，尤其是在语言数量较少的多语言场景（如双语设置）中。在……

阅读更多

我们引入了一组无需训练的 ABX 式区分任务，以评估多语言语言模型如何表征语言身份（形式）和语义内容（意义）。受语音处理启发，这些零样本任务衡量表征中的最小差异是否能被可靠检测。这为探测提供了一种灵活且可解释的替代方案。应用于 XLM-R（Conneau 等，2020）跨预训练检查点……

阅读更多