语音基础模型中的语言选择性维度如何实现语码转换检测
Code-Switching Detection via Language-Selective Dimensions in Speech Foundation Models
研究者提出一种轻量方法，直接利用预训练语音编码器帧级语言信息判断一句话中是否同时出现两种语言，无需依赖多语言转录。在 CS-FLEURS 的 14 个语言对上，Whisper-small 编码器平均 F1 达 0.798，高于 CNN 的 0.776 和 HuBERT 线性基线的 0.751。该方法表明预训练语音编码器已编码识别语码转换所需信息，可用于构建更具代表性的多语言语料。
作者Jie Chi、Zakaria Aldeneh、Masha Fedzechkina、Maureen de Seyssel、Natalie Schluter
语码转换（CS），即同一话语内语言的交替使用，在多语言语音中很常见，但在预训练语料中却代表性不足。提高 CS 覆盖率需要在大型语音集合中找到相关话语，以便将其纳入训练数据。找到此类话语的一种方法是转写语音并检测文本中的语言交替，但这依赖于获得准确的多语言转写。我们提出了一种直接从语音中检测 CS 的轻量级方法。它利用预训练语音编码器中的帧级语言信息来判断同一话语中是否同时存在两种语言。具体而言，我们使用单语录音识别语言选择性的隐藏状态维度，并将其帧级激活聚合为 CS 预测。借助一个用于调整决策规则的小型 CS 集合，我们表明 Whisper-small 编码器在 CS-FLEURS 的 14 个语言对上达到了 0.798 的平均 F1，相比之下，CNN 为 0.776，而为单语语言识别训练的 HuBERT 线性基线为 0.751。我们的发现表明，预训练语音编码器已经编码了识别 CS 话语所需的信息，并且它们为构建更具代表性的多语言语料库提供了一种轻量级工具。
相关阅读和更新。
语码转换（CS），即在同一话语内交替使用语言，由于 CS 训练数据有限，给自动语音识别（ASR）带来了重大挑战。本文首次将迭代伪标签训练方法应用于 CS-ASR，展示了其在利用未标注数据提升 CS-ASR 性能方面的有效性。该方法包括三个阶段：伪标签生成、两阶段双语模型……
语码转换（CS）指的是交替使用来自不同语言的单词和短语的现象。由于底层系统通常具有单语性质，CS 可能给 NLP 带来显著的准确性挑战。在这项工作中，我们聚焦于英语/西班牙语对话中的 CS，用于语音翻译（ST）任务，生成并评估转写和翻译。为了评估模型在该任务上的性能，……
来源：Apple Machine Learning Research · machinelearning.apple.com