arXiv cs.AI· Sergei Katkov, Antonio Liotta·· 3 天前AI 评分22
Whisper 个性化增益研究：LoRA 微调效果并非普遍有效
Understanding Personalization Gains in Whisper
AI 导读
研究对比了零样本 Whisper、池化 LoRA 和分组 LoRA 在 Common Voice、LibriSpeech 和 VoxPopuli 上的表现，发现 LoRA 增益集中在困难的 Common Voice 分组，在 VoxPopuli 上表现一致，但在低错误率的 LibriSpeech 上基本消失。
正文 · AI 翻译
摘要：Whisper 风格的 ASR 模型提供了强大的零样本转录能力，但其残余错误在不同数据集、录音条件和基于元数据的分组之间分布并不均匀。我们研究轻量级低秩适配（LoRA）何时能改进 Whisper，以及观察到的增益是否需要特定于分组的适配器。在 Common Voice、LibriSpeech 和 VoxPopuli 上，我们在匹配的组内划分下比较了零样本 Whisper、池化 LoRA 和特定于分组的 LoRA。我们发现适配并非普遍有益：增益集中在困难的 Common Voice 分组上，在 VoxPopuli 上保持一致，而在低错误的 LibriSpeech 上基本消失。关键在于，池化 LoRA 通常能匹配，有时甚至明显优于特定于分组的 LoRA。因此，在将相对于零样本的增益解释为个性化的证据之前，应针对匹配的池化适配进行检验。
| 评论： | 14 页。发表于 SPECOM 2026 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.17019 [cs.AI] |
| （或 arXiv:2610.17019v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17019 arXiv 颁发的 DOI，通过 DataCite（待注册） |
|
| 期刊 参考： | Lecture Notes in Computer Science, vol. 16934, pp. 3-16, Springer (2027) |
| 相关 DOI： | https://doi.org/10.1007/978-3-032-37867-5_1
链接到相关资源的 DOI |
提交历史
来自：Sergei Katkov [查看电子邮件]
[v1]
2026 年 10 月 12 日星期一 15:59:09 UTC（47 KB）
来源：arXiv cs.AI · arxiv.org