EmbeddingGemma 2 被改造成端侧语音转文字模型
We turned EmbeddingGemma 2 into a speech-to-text model
作者把 Google 的嵌入模型 EmbeddingGemma 2 改造成语音转文字模型，在基础款 M3 MacBook Air 上约 13 秒处理 1 小时音频，全程在设备端运行。
Google 的 EmbeddingGemma 2 是一个嵌入模型。我们把它变成了一个语音转文本模型： 在基础款 MacBook Air 上，约 13 秒处理一小时音频，完全在设备端运行。
下载 Mac 版（免费）
v1.6 · macOS 14+ · Apple Silicon
模型在首次启动时下载（715 MB）
嵌入模型能转写语音吗？
EmbeddingGemma 2 是一个多模态嵌入模型：文本、图像、音频和视频共处一个共享空间。 大声说出一个词，它的音频会落在书面词附近。
于是我们尝试直接从那个空间里读出词来。
工作原理
- EmbeddingGemma 2 的音频编码器保持原样不变。
- 一个小型读取器把每一小段音频移入模型的文本空间。
- 约 229,000 个英语单词中最接近的那个胜出，这些片段便成为一份转写文本。
- 一个微型附加模型负责添加标点和大小写。
只有读取器经过训练：在 8×H100 上训练不到两小时，使用开放许可的英语语音。 基础模型从未针对语音转文本进行过训练。
有多快？
| 模型 | 运行于 | Mac | 速度 |
|---|---|---|---|
| Embedding Gemma Transcribe | Neural Engine | 基础款 M3 MacBook Air，8 GB | 288×1 小时用时 12.6 秒 |
| IBM Granite Speech 5.0 TurboCTC | GPU (MLX) | 基础款 M3 MacBook Air，8 GB | ~150×1 小时用时 25.7 秒 |
| NVIDIA Parakeet TDT 0.6B v3 (FluidAudio) | Neural Engine | M4 Pro | 156× |
| NVIDIA Parakeet TDT 0.6B v3 (FluidAudio) | Neural Engine | M5 Pro | 335× |
| Phonon-2，Parakeet v3 微调版 (FluidAudio) | Neural Engine | M5 Pro | 480× |
× 实时：每秒钟处理对应的音频秒数。第 1–2 行：我们在同一台基础款 M3 MacBook Air 上的测试。 第 3–5 行：FluidAudio 公布的基准测试 在更大、更新的 Mac 和不同音频上测得。仅供参考，并非同类对比排名。
现状如何
目前它的词错误率约为 5%，而领先的语音模型为 2–3%。我们相信训练更好的 读取器能够缩小这一差距；那是下一个迭代。
使用它
拖入一个音频文件，或按住右 Option 键，说话后松开，即可向任何应用听写。它运行在 Mac 的 Neural Engine 上；你的音频永远不会离开这台机器。
来源：Hacker News · eg2.haku.sh