WaxalNet：19 种非洲语言自发语音识别基准测试与模型适配
WaxalNet: Benchmarking and Adapting Speech Recognition for Spontaneous Speech in 19 African Languages
WaxalNet 在覆盖 19 种非洲语言自发语音的 WAXAL 语料上评测了 Whisper、MMS、Omnilingual ASR 和 SeamlessM4T-v2 的零样本与微调表现，微调将宏平均 WER 从最佳零样本模型 Omnilingual-7B 的 52.3 降至 300M 参数 MMS 的 36.2、Omnilingual 配 LLM 解码器的 31.5。
作者：Victor Tolulope Olufemi、Oreoluwa Babatunde、Ramsey Njema、Bolarinwa Gbotemi、Wanchi Lucia Yen、John Uzodinma、Sunday Ajayi、Oluwademilade Williams、Kausar Moshood、Innocent Elendu Anyaele、Akebert Arefaine、Candace Hunzwi、Wongel Dawit Daniel、Emmilly Namuganga、Cleophas Kadima、Athanase Bahizire、Onitsiky Ranaivoson、Emmanuel Aaron、Nicholaus Ladislaus、Idris Muhammed、Jonathan Enoch Simenya、Martin Koome、Matewos Tegete Endaylalu、Peter Ifeoluwa Adeyemo、Hondi Prisca Birindwa、Ukachi Agnes Eze-Mbey、Yacoba Oduro-Yeboah、Pericles Adjovi、Mikel K. Ngueajio、Toluwani Aremu、Prasenjit Mitra
摘要：多语言语音基础模型声称具有广泛的语言覆盖范围，但它们处理非洲自发语音的效果如何，以及如何最好地适配它们，仍不清楚。我们在包含 19 种非洲语言自发语音的 WAXAL 语料库上对零样本和微调语音识别进行基准测试，涵盖 Whisper、MMS、Omnilingual ASR 和 SeamlessM4T-v2。微调将覆盖全部 19 种语言的最佳零样本模型（Omnilingual-7B）的宏平均词错误率（WER）从 52.3 降至 300M 参数 MMS 模型的 36.2，以及带 LLM 解码器的 Omnilingual 的 31.5，尽管零样本模型在少数语言上已具竞争力。使用 Omnilingual 的共享编码器，我们在编码器预训练固定的情况下比较 CTC 和 LLM 解码器。在 MMS 和 Whisper 之间，哪个模型更好取决于语系，但在共享编码器下，LLM 解码器在 19 种语言中的 18 种上具有更低的 WER，因此语系模式更可能来自预训练而非解码器。然而，LLM 解码器大约大五倍，且在 CPU 上慢得多。按语系或跨全部 19 种语言将语言合并到一个模型中，相对于每种语言单独模型，平均仅损失 0.6 到 1.0 WER，这是用一个模型服务所有语言的适度代价。微调模型在朗读语音上仍然可用，而对于留出语言，无论是在其他语言上训练还是使用上下文示例，都无法替代语言内微调。一项覆盖全部 19 种语言的母语者审计刻画了重复循环等失败模式。我们发布了代码和一套超过 100 个微调模型。
| 学科： | 计算与语言（cs.CL）；计算机与社会（cs.CY）；人机交互（cs.HC） |
| 引用为： | arXiv:2606.02375 [cs.CL] |
| （或 arXiv:2606.02375v2 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2606.02375 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Victor Tolulope Olufemi [查看邮箱]
[v1]
2026 年 6 月 1 日星期一 15:22:35 UTC（1,862 KB）
[v2]
2026 年 10 月 21 日星期三 23:38:29 UTC（45 KB）
来源：arXiv cs.CY · arxiv.org