arXiv cs.CL· Tianchi Liu, Nicholas Moratelli, Khurram Azeem Hashmi, Mohammadreza Zolfaghari, Rishabh Jain, Louis Lu, Changdae Park, Amril Nazir·· 3 天前AI 评分22
CAFE：将特征蒸馏限制在语言路由适配器中，实现紧凑多语言 ASR
CAFE: Confining Feature Distillation to Language-Routed Adapters for Compact Multilingual Automatic Speech Recognition
AI 导读
针对紧凑多语言 ASR 中特征蒸馏反而拖累性能的问题，研究者提出 CAFE，将 CKA 梯度限制在英语绕过的适配器中，在参数层面而非损失层面化解权衡。在 Open ASR Leaderboard 上，CAFE 将平均 WER 从 8.55% 降至 8.02%，优于仅做适配器容量控制的 8.51%。
正文 · AI 翻译
摘要：特征蒸馏通常被认为是对 logit 蒸馏的补充。我们发现，这一预期在紧凑型多语言自动语音识别（ASR）的两种常见特征损失上并不成立，并通过它们的梯度分析了原因。基于投影的损失的梯度与任务梯度正交，而基于相似度的损失——中心核对齐（CKA）的梯度则与任务梯度弱对齐。CKA 降低了非英语语言的词错误率（WER），但代价是牺牲了数据丰富的英语。三种损失层面的补救措施（一种经过训练，两种经过探测）均未能奏效，且 CKA 梯度与英语在共享编码器中使用的子空间重叠达 97.5% 至 99.5%（随机情况下约为 81%）。在此诊断的指导下，我们提出了 CAFE（受限适配器特征蒸馏），它将 CKA 梯度限制在英语绕过的适配器中，从而在参数层面而非损失层面解决这一权衡。在 Open ASR Leaderboard 上，CAFE 将平均 WER 从 8.55% 降至 8.02%，优于仅使用适配器的容量控制方法（8.51%），并使英语在不同检查点之间更加稳定。在 254M 参数下，它落后于 0.6B 教师模型 2 个 WER 百分点，并在 24 种语言的 48 个测试集上与更大的模型相比具有竞争力。我们使用了 564k 小时的训练数据和最先进的模型，以确保研究结果与实践相关。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.19134 [cs.CL] |
| （或 arXiv:2610.19134v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19134 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Amril Nurman Nazir [查看电子邮件]
[v1]
2026年10月13日星期二 20:04:19 UTC（615 KB）
来源：arXiv cs.CL · arxiv.org