arXiv cs.CL· Lukuan Dong, Ziwei Li, Saierdaer Yusuyin, Xianyu Zhao, Zhijian Ou·· 10 天前AI 评分22
面向多语言语音识别的 LLM 音素到字素方法研究
Advancing LLM-based phoneme-to-grapheme for multilingual speech recognition
AI 导读
研究在十语言 CV-Lang10 基准上探索基于 LLM 的多语言音素到字素（P2G）转换，针对 S2P 不确定性提出 DANP 与 Simplified SKM（S-SKM）鲁棒性策略，其中 S-SKM 是一种蒙特卡洛近似方法，可避免在 P2G 训练中使用基于 CTC 的 S2P 概率加权。结合鲁棒训练与低资源过采样，平均 WER 从 10.56% 降至 7.66%。
正文 · AI 翻译
摘要：基于音素的 ASR 将识别分解为语音到音素（S2P）和音素到字素（P2G），从而实现跨语言声学共享，同时将语言特定的正字法保留在单独的模块中。虽然大语言模型（LLM）在 P2G 方面很有前景，但多语言 P2G 仍因语言感知生成和严重的跨语言数据不平衡而面临挑战。我们在十语言的 CV-Lang10 基准上研究基于多语言 LLM 的 P2G。我们考察了考虑 S2P 不确定性的鲁棒性策略，包括 DANP 和简化 SKM（S-SKM）。S-SKM 是一种蒙特卡洛近似，避免了 P2G 训练中基于 CTC 的 S2P 概率加权。鲁棒训练和低资源过采样将平均 WER 从 10.56% 降至 7.66%。
| 评论： | NCMMSC 2026 定稿版 |
| 主题： | 音频与语音处理（eess.AS）；计算与语言（cs.CL）；声音（cs.SD） |
| 引用为： | arXiv:2603.29217 [eess.AS] |
| （或使用 arXiv:2603.29217v3 [eess.AS] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2603.29217 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Lukuan Dong [查看邮箱]
[v1]
2026年3月31日 星期二 03:32:18 UTC（65 KB）
[v2]
2026年9月5日 星期六 01:23:42 UTC（62 KB）
[v3]
2026年10月6日 星期二 18:13:39 UTC（62 KB）
来源：arXiv cs.CL · arxiv.org