arXiv cs.CL· Hung-Yang Sung, Chien-Chun Wang, Tien-Hong Lo, Yu-Sheng Tsao, Yung-Chang Hsu, Berlin Chen·· 10 小时前AI 评分18
T-SANDHI：面向低资源台语（闽南语）语音识别的变调感知自适应网络
T-SANDHI: Tone Sandhi-aware Adaptive Network with Decoupled Hybrid Injection for Low-resource Taiwanese Hokkien Speech Recognition
AI 导读
针对台语（闽南语）ASR，研究提出 T-SANDHI，在冻结的 Whisper 骨干上显式解耦表层声学与底层词汇意图，用词典引导的多任务学习和文本伪标签驱动的轻量混合注入模块，通过动态门控整合本调与变调两条语音流。实验表明语音基础模型本身能有效处理变调，真正瓶颈是变调与保留本调之间的局部混淆；该方法在 TAT-MOE 语料和两个盲测集上以严格参数效率超越基线。
正文 · AI 翻译
摘要：在台湾闽南语自动语音识别（ASR）中，以往研究通常将变调视为主要挑战，其假设是模型无法处理隐含的语音变化。然而，我们在台湾闽南语上的实验表明，语音基础模型实际上能有效处理变调变化，真正的性能瓶颈源于这些变化与保留的本调之间的局部混淆。为解决这一问题，我们提出 T-SANDHI，在冻结的 Whisper 主干之上显式地将表层声学与底层词汇意图解耦。借助由文本生成的伪标签驱动的词典引导多任务学习结构，我们的轻量级混合注入模块通过动态门控整合独立的本调与变调语音流。在 TAT-MOE 语料库和两个盲测集上的广泛评估表明，这种显式解耦有效解决了声调映射混淆，在严格的参数效率下优于基线。
| 评论： | 已被 IEEE SLT 2026 接收 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2609.18194 [cs.CL] |
| （或 arXiv:2609.18194v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.18194 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hung-Yang Sung [查看邮箱]
[v1]
2026年9月16日星期三 06:31:31 UTC（1,317 KB）
[v2]
2026年11月10日星期二 02:23:15 UTC（1,317 KB）
来源：arXiv cs.CL · arxiv.org