arXiv cs.CL· Christopher Witzl, Tobias Bocklet, Korbinian Riedhammer·· 9 天前AI 评分22
面向德语语音识别的音系学驱动分词：一项跨域研究
Phonologically Informed Tokenization for German Speech Recognition: A Cross-Domain Study
AI 导读
研究在 Omnilingual ASR wav2vec 2.0 + CTC 骨干上比较三种分词器：预训练多语言字符集、BPE 和基于 Pyphen 音节切分与 G2P 的音系学单元，共 40 次微调，在三个德语测试集上评估。
正文 · AI 翻译
摘要：德语是一种形态丰富的语言，其音节结构能被 Knuth--Liang 断词算法极好地预测。我们探究基于音系学的分词能否作为端到端语音识别的一个有竞争力的目标。我们在使用 CTC 微调的 Omnilingual ASR wav2vec 2.0 主干上比较了三个分词器家族：预训练的多语言字符表、基于正字法的数据驱动字节对编码（BPE），以及来自 Pyphen 音节划分和字素到音素转换的音系学信息单元。在 40 次微调中，我们在三个跨越正交偏移的德语测试集上评估：域内朗读语音、方言自发语音和标准德语自发语音。在域内，所有基于音系学的分词器在 WER 和 CER 上都与 BPE 和多语言字符基线相当。在域偏移下，情况沿着词汇量大小而非语言学变异轴分化：在较小词汇量下，音节感知分词在方言语音上有所改善，此时语音表层形式变化但音节结构得以保留，并在自发语音上保持领先，此时新词形破坏了词汇封闭性。音素级混淆分析进一步表明，所有分词器都犯相同的典型功能词错误，表明声学编码器而非分词器主导了错误拓扑。我们的发现表明，分词器的选择可能既取决于词汇预算，也取决于部署时预期的分布偏移，而不是归结为单一的通用最优解。
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.11646 [cs.CL] |
| （或 arXiv:2610.11646v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11646 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Christopher Witzl [查看电子邮件]
[v1]
2026年10月8日星期四 10:20:43 UTC（32 KB）
来源：arXiv cs.CL · arxiv.org