arXiv cs.CL· Shunsuke Mitsumori, Tomoya Mizumoto, Yusuke Fujita·· 10 天前AI 评分22
用合成伪方言增强实现方言鲁棒的语音语言模型
Dialect-Robust Speech Language Models with Synthetic Pseudo-Dialect Augmentation
AI 导读
研究者提出用标准语言 TTS 模型朗读 LLM 生成的方言文本，合成伪方言语音，无需任何真实方言语音数据。在日语、德语、中文方言到英语的语音翻译评测中，伪方言增强将日语得分从 25.38 提升至 26.24、德语从 31.57 提升至 32.47；训练中加入中间标准文本预测后，日语进一步升至 28.26，中文从 11.67 升至 16.37。该方法无需各方言专属语音资源即可跨语言扩展。
正文 · AI 翻译
摘要：语音语言模型（SLM）的性能常因数据稀缺而在方言上下降。传统的文本到语音（TTS）增强难以覆盖多样的方言，因为它需要一定量的真实方言语音。我们提出通过标准语言 TTS 模型转换 LLM 生成的方言文本，来合成伪方言语音，无需任何真实方言语音。此外，我们在训练中引入中间标准文本预测，作为下游任务的语义归一化。我们通过日语、德语和中文方言的方言到英语语音翻译来评估方言理解。与合成标准语音基线相比，伪方言增强提高了日语（从 25.38 到 26.24）和德语（从 31.57 到 32.47）的分数。此外，中间标准文本预测有效弥合了语义差距，将日语性能提升至 28.26，中文从 11.67 提升至 16.37。这些结果表明，我们的方法可扩展到多种语言，而无需每种方言特定的语音资源。
| 评论： | 7 页，1 幅图，7 张表。已被 IEEE SLT 2026 接收 |
| 主题： | 计算与语言（cs.CL）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2610.09321 [cs.CL] |
| （或 arXiv:2610.09321v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.09321 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Shunsuke Mitsumori [查看电子邮件]
[v1]
2026 年 10 月 7 日星期三 02:25:43 UTC（190 KB）
来源：arXiv cs.CL · arxiv.org