arXiv cs.AI· Jeevan Neupane, Janardan Bhetwal, Kshitiz Paudel, Anup Aryal, Bipin Bashyal·· 10 小时前AI 评分22
尼泊尔语-英语混合语音识别：SraVaani 语音基础模型的数据准备与适配
Nepali-English Code-Mixed Speech Recognition: Data Preparation and Adaptation of a Speech Foundation Model
AI 导读
研究团队用 172.8 小时、覆盖六个尼泊尔语语音领域的语料适配 449M 参数的混合 TDT-CTC 模型 SraVaani，全量微调将测试 WER 从 48.6% 降至 17.1%，12 个 epoch 的运行达到 16.3%，与微调后的 Whisper large-v3-turbo 的 16.4% 相当。
正文 · AI 翻译
摘要：尼泊尔语使用者在对话中经常混用英语单词，但多语种语音识别器往往难以处理语码转换以及英语单词所用的书写文字。我们研究如何利用一个覆盖六个尼泊尔语语音领域、时长 172.8 小时的语料库来适配 SraVaani——一个 4.49 亿参数的混合 TDT-CTC 模型。其预训练分词器不支持数字和若干常见符号。我们没有替换分词器，也没有丢弃这些录音，而是为数字生成尼泊尔语和英语读法，并使用零样本 ASR 输出选择一种合理的形式。全量微调将测试词错误率（WER）从 48.6% 降至 17.1%；一次 12 轮训练达到 16.3%，而微调后的 Whisper large-v3-turbo 为 16.4%。冻结编码器会使 WER 升至 25.5%，而排除含数字的片段会使数字测试语音上的 WER 从 14.3% 升至 21.3%。我们还在 FLEURS 上使用其原始参考文本和混合文字替代文本进行了评估。对比表明，转写惯例只能解释域外性能损失的一部分，而非全部。
| 评论： | 9 页，5 幅图，13 张表。代码和模型检查点：此 https URL |
| 主题： | 人工智能（cs.AI） |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2611.13512 [cs.AI] |
| （或 arXiv:2611.13512v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13512 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jeevan Neupane [查看电子邮件]
[v1]
2026 年 11 月 10 日星期二 03:39:19 UTC（284 KB）
来源：arXiv cs.AI · arxiv.org