合成到真实的尼泊尔语-英语语码转换 ASR：一个自发播客基准

查看 PDF HTML（实验性）

摘要：尼泊尔语-英语语码转换会话语音对自动语音识别（ASR）构成严峻挑战，主要体现为文字系统混淆（天城文与拉丁字母拼写的不当混用）以及语言切换点处错误率升高。监督微调（SFT）可适配多语言基础模型，但人工语码转换音频的采集与标注成本高昂。我们构建了一个包含 13,044 条自发播客话语（总计 15.45 小时；测试集 10,214 条，开发集 2,830 条）的新基准，并经过审核验证以消除机器翻译泄漏和声学循环。我们研究了一个两阶段合成到真实适配框架：阶段 1 对通过多说话人、双引擎 TTS 流水线合成的 0.95 小时语音进行 SFT；阶段 2 探索带有转写奖励和文字系统奖励的组相对策略优化（GRPO）。我们发现，合成 SFT 提供了向自发人类语音的主要跨域迁移，将混合错误率（MER）从 23.40% 降至 21.52%（-1.88 个百分点），将切换点错误率（SPER）从 35.89% 降至 28.77%（-7.12 个百分点）。随后的 GRPO 在 173 条测试话语（1.69%）上产生了小幅但统计显著的调整，使英语文字系统混淆（SCR_en）从 6.45% 降至 6.36%（p <= 0.001），SPER 降至 28.70%（p = 0.022，聚类）。关键在于，消融实验表明，在此 SFT 已收敛的编码器-解码器设置中，辅助文字系统奖励项的性能与仅优化 MER 完全相同，因为 rollout 候选组在合成数据上表现出近乎零的文字系统方差。在单语基准上，SFT 将尼泊尔语 MER 改善 2.71 个百分点（在 GRPO 后稳定于 18.42%，较基线提升 2.38 个百分点），同时保持英语词汇 WER（3.38% 对 3.33%）。经验证的转写、时间戳、剧集元数据和重建脚本已公开发布。

评论：	9 页，4 幅图，7 张表。代码：此 https URL，数据集：此 https URL
主题：	计算与语言（cs.CL）；声音（cs.SD）
引用为：	arXiv:2610.30860 [cs.CL]
	（或 arXiv:2610.30860v1 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.30860 arXiv 颁发的 DOI 通过 DataCite（待注册）

提交历史

来自：Firoj Paudel [查看邮箱]
[v1] 2026 年 10 月 22 日星期四 07:41:21 UTC（762 KB）