arXiv cs.CL· Jie Chi, Zakaria Aldeneh, Masha Fedzechkina, Maureen de Seyssel, Natalie Schluter·· 2 天前AI 评分20
利用语音基础模型的语言选择性维度进行语码转换检测
Code-Switching Detection via Language-Selective Dimensions in Speech Foundation Models
AI 导读
研究者提出一种直接从语音中检测语码转换（CS）的轻量方法，利用预训练语音编码器帧级的语言选择性隐藏状态维度，聚合激活值来预测一句话中是否同时出现两种语言。在 CS-FLEURS 的 14 个语言对上，Whisper-small 编码器取得平均 F1 0.798，高于 CNN 的 0.776 和 HuBERT 线性基线的 0.751。
正文 · AI 翻译
摘要：语码转换（CS），即话语中语言之间的交替，在多语种语音中很常见，但在预训练语料库中代表性不足。增加 CS 覆盖需要在大规模语音集合中找到相关话语，以便将其纳入训练数据。找到此类话语的一种方法是转写语音并检测文本中的语言交替，但这依赖于获得准确的多语种转写。我们提出一种直接从语音中检测 CS 的轻量级方法。它利用预训练语音编码器中的帧级语言信息来判断一句话语中是否同时存在两种语言。具体而言，我们使用单语录音识别语言选择性的隐藏状态维度，并将其帧级激活聚合为 CS 预测。借助一个用于调整决策规则的小型 CS 集合，我们表明 Whisper-small 编码器在 CS-FLEURS 的 14 个语言对上达到平均 F1 为 $0.798$，而 CNN 为 $0.776$，为单语语言识别训练的 HuBERT 线性基线为 $0.751$。我们的发现表明，预训练语音编码器已经编码了识别 CS 话语所需的信息，并且它们为构建更具代表性的多语种语料库提供了一种轻量级工具。
| 评论： | 提交至 ICASSP 2027 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.18726 [cs.CL] |
| （或 arXiv:2610.18726v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18726 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jie Chi [查看电子邮件]
[v1]
2026年10月13日星期二 17:05:22 UTC（24 KB）
[v2]
2026年10月14日星期三 22:26:33 UTC（23 KB）
来源：arXiv cs.CL · arxiv.org