arXiv cs.CL· Shashi Kumar, Esa\'u Villatoro-Tello, Thibault Ba\~neras-Roux, Sergio Burdisso, Petr Motlicek, Kadri Hacioglu, Andreas Stolcke·· 11 小时前AI 评分18
面向因子化 Transducer ASR 纯文本域适应的残差专家路由
Residual Expert Routing for Text-Only Domain Adaptation of Factorized Transducer ASR
AI 导读
针对因子化 Transducer ASR 仅用目标域文本微调非空白预测器会提升目标域却损害源域的问题，研究者提出保守残差路由：把适配后的预测器作为基础预测器的残差修正，由 16k 参数的门控在每个前缀决定接纳多少，门控关闭即完全还原基础模型。
正文 · AI 翻译
摘要：在目标域文本上微调因子化 transducer 的非空白预测器，可提升该域的识别效果，但会降低源域的性能。在基础预测器与适配预测器之间使用单一插值权重无法解决这一问题：适配预测器在某些前缀上有帮助，在另一些前缀上却有害，且常常出现在同一句语音中。我们提出保守残差路由：适配预测器成为对基础预测器的残差修正，一个 16k 参数的门控在每个前缀处决定接纳多少修正量。关闭门控即可精确复现基础预测器。在一个 40 小时的对话语料上，路由在两个留出域上基本保留了全部纯文本增益（WER 从 19.89 降至 16.74，从 20.91 降至 16.21），同时源域 WER 保持不变（12.90 至 12.93）；而单独使用适配预测器会带来 1.08 的 WER 损失。路由在目标域音频上无需按域调参。分析表明，门控并非表现为简单的域级开关：它通过两个预测器之间的分歧来调节干预，在域内抑制分歧，在域外放大分歧。
| 评论： | 论文已提交至 ICASSP 2027（审稿中） |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.32637 [cs.CL] |
| （或 arXiv:2610.32637v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32637 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Esaú Villatoro-Tello [查看邮箱]
[v1]
2026年10月23日星期五 13:48:33 UTC（44 KB）
来源：arXiv cs.CL · arxiv.org