arXiv cs.CL· Moran Yanuka, Raja Giryes, Moris Alper·· 9 天前AI 评分24
多语言语音模型中的音系干扰问题研究
Phonological Interference in Multilingual Speech Models
AI 导读
研究者发现音素级语音模型存在系统性失败模式——音系干扰：模型默认输入为单一语言并强加其音系规则，覆盖与之冲突的局部音素决策。在语码转换输入上，两个语音转音素识别器和一个音素条件TTS模型丢失了32%至79%的跨语言特有音素。研究提出窗口化语言估计（WLE）推理时修复方法，在三个模型上消除了34%至69%的干扰，且识别器的单语性能基本不变。
正文 · AI 翻译
摘要：音素级模型将语音转写或生成为音素序列，音素是区分单词的最小语音单位。这些模型能够实现细粒度的发音控制与理解，但在不匹配任何单一训练语言的输入上往往失败，例如在两种语言之间交替的语音（称为语码转换），或训练中缺失的低资源语言。我们识别出这背后的一种系统性失败模式——音系干扰：模型假设输入属于单一语言，并强加其音系，覆盖与所假设语言相冲突的局部音素级决策。我们通过模型保留某一语言有而另一语言没有的音素的频率来衡量干扰。在语码转换输入上，两个音素识别器（语音到音素模型）和一个以音素为条件的文本到语音模型丢失了 32% 到 79% 的这类音素，但两种语言共有的音素丢失要少得多。在未见语言上，我们发现音素识别器会强加其分配给该语音的训练语言的音系，且分配越自信，它们丢失的未见语言有而所分配语言没有的音素就越多。我们从模型内部激活中探查其语言估计，并将干扰追溯到一个低维子空间。在单语语音上，将该子空间导向另一种语言会使模型丢失仅原语言使用的音素，并产生仅目标语言具有的音素。我们提出窗口化语言估计（WLE），一种推理时修复方法，用根据每个位置周围短窗口计算出的语言估计替换该子空间中模型的语言估计。在语码转换输入上，WLE 在全部三个模型中消除了 34% 到 69% 的干扰，而在识别器中，它使单语性能基本保持不变。
| 评论： | 预印本 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.11275 [cs.CL] |
| （或 arXiv:2610.11275v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11275 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Moran Yanuka [查看电子邮件]
[v1]
2026年10月8日星期四 05:38:01 UTC（272 KB）
来源：arXiv cs.CL · arxiv.org