arXiv cs.CL· Ryo Magoshi, Shinsuke Sakai, Tatsuya Kawahara·· 10 天前AI 评分22
面向 LLM 语音识别的音素引导初始化方法
Phoneme-Guided Initialization for LLM-based Speech Recognition
AI 导读
研究者提出"音素引导初始化"方法：先在语音转音素（S2P）任务上预训练音频编码器、在音素转字素（P2G）任务上预训练 LLM，再连接两者并在目标 ASR 任务上端到端微调。在日语 CSJ、中文 AISHELL-1 及 Common Voice 25.0 的鞑靼语和乌尔都语上，该方法持平或优于级联 S2P-P2G 基线与未做 P2G 初始化的端到端模型。该工作已被 IEEE SLT 2026 接收。
正文 · AI 翻译
摘要：语音大语言模型（speech LLMs）在有充足配对语音-文本数据时，在自动语音识别（ASR）上表现良好，但在低资源环境下性能会下降。一个先进行语音到音素（S2P）转换、再进行音素到字素（P2G）转换的级联流水线，已被证明在这种情形下优于端到端语音 LLM，这表明在配对数据稀缺时，音素中介处理是有益的。我们提出 \textit{音素引导初始化}，一种在端到端框架中利用这一洞见的简单方法：我们在 S2P 任务上预训练音频编码器，在 P2G 任务上预训练 LLM，然后将它们连接起来，并在目标 ASR 任务上对完整模型进行端到端微调。在日语（CSJ）、中文（AISHELL-1）以及 Common Voice 25.0 中的两种低资源语言（鞑靼语和乌尔都语）上的实验表明，我们的方法与级联 S2P-P2G 基线以及未进行 P2G 初始化的端到端模型相比，表现相当或更优。
| Comments: | 已被 IEEE SLT 2026 接收 |
| Subjects: | 音频与语音处理（eess.AS）；计算与语言（cs.CL）；声音（cs.SD） |
| Cite as: | arXiv:2610.08994 [eess.AS] |
| （或 arXiv:2610.08994v1 [eess.AS] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08994 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ryo Magoshi [查看电子邮件]
[v1]
2026年10月6日星期二 18:52:05 UTC（394 KB）
来源：arXiv cs.CL · arxiv.org