arXiv cs.CL· Amr Abdelkhalik·· 12 小时前AI 评分29
Gemma 4 语音编码器不改权重能走多远？冻结与适配器增强编码器的沙特及海湾阿拉伯语语音识别
How Far Can the Gemma 4 Speech Encoder Go Without Changing Its Weights? Saudi and Gulf Arabic Speech Recognition with a Frozen and an Adapter-Augmented Encoder
AI 导读
研究在不改动 Gemma 4 与 EmbeddingGemma 2 共享的 305M 参数音频编码器权重的前提下，用于沙特和海湾阿拉伯语语音识别。冻结系统仅训练 22.6M 参数 CTC 读取器，在六项人工标注条件中的五项上字符错误率与 2.07B 参数的 Cohere Transcribe Arabic 统计无差异，CPU 贪心解码快 3.4 倍。
正文 · AI 翻译
摘要：我们研究了 Gemma 4 与 EmbeddingGemma 2 共享的 305M 参数音频编码器（除最终投影外完全相同）在沙特与海湾阿拉伯语语音识别中的表现，且不改变其任何权重。冻结系统仅在编码器各层的混合之上训练一个 22.6M 参数的 CTC 读取器；适配系统则额外加入 3.1M 低秩适配器参数、一个 41.5M 参数的混合 CTC/注意力读取器，以及与子词语言模型联合解码。与 Cohere Transcribe Arabic（2.07B 参数）在相同音频上重新运行相比，冻结系统在词错误率（WER）上落后，但在六个人工标注条件中的五个上，字符错误率（CER）在统计上无显著差异，同时在 CPU 上使用贪心解码时运行速度快 3.4 倍。适配系统在一通公开的沙特客服电话（19.20% 对 19.27%）和干净的阿联酋语音上，WER 在统计上无显著差异；在电话编码的阿联酋语音上显著更优；在这些集合的全部六个条件上 CER 均显著更低；并且在全部六个条件上，WER 均优于一个在 SADA 上微调的 0.6B 识别器；但在长篇沙特语音的 WER 上仍落后于 Cohere。在一个盲测、经人工校正的公开呼叫中心样本上，它在 15 个系统中排名第 4，落后于三个商业 API（仅一个显著），按点估计领先于其他可自托管系统。一个优化的联合解码器在单块 GPU 上以 139 倍实时速度运行。我们还表明，通过校正机器草稿得到的参考文本会偏向起草系统。代码和公开集结果已发布。
| 评论： | 24 页，15 张表，5 幅图。代码和公开集结果：此 https URL |
| 主题： | 计算与语言（cs.CL）；声音（cs.SD）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2610.28673 [cs.CL] |
| （或 arXiv:2610.28673v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28673 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Amr Abdelkhalik [查看电子邮件]
[v1]
2026 年 10 月 18 日星期日 21:06:44 UTC（143 KB）
来源：arXiv cs.CL · arxiv.org