arXiv cs.CL· Daniel Varela S\'anchez, Guillermo Mart\'in-Coello Ju\'arez·· 6 天前AI 评分54
Oído：在 5 美元微控制器上无神经网络加速器运行开放词表语音识别
O\'ido: Open-Vocabulary Speech Recognition on a $5 Microcontroller without a Neural Accelerator
AI 导读
论文提出 Oído，一个完全在 ESP32-S3（240 MHz 双核 Xtensa LX7、512 KB SRAM、8 MB PSRAM、16 MB flash，无神经网络加速器）上运行的开放词表英语语音识别推理引擎，执行 13M 参数 Conformer-CTC 模型，采用 int8 权重、逐帧动态 int8 激活和 int8 注意力。
正文 · AI 翻译
摘要：在低成本微控制器上进行语音识别，实际上仅限于关键词识别或固定的命令列表。我们提出 Oído，一个推理引擎，可在 ESP32-S3（240 MHz 双核 Xtensa LX7，512 KB SRAM，8 MB PSRAM，16 MB flash，无神经加速器）上完全运行开放词汇英语语音识别。Oído 执行一个 13M 参数的 Conformer-CTC 模型，采用 int8 权重、逐帧动态 int8 激活以及基于芯片 SIMD 指令的 int8 注意力，其调度围绕 flash 和 PSRAM 带宽设计。在 LibriSpeech test-clean/test-other 上，设备端算术达到 3.70%/8.23% 的词错误率（WER），与全精度相差 0.12 个百分点以内，配合片上 1.3M 参数语言模型时为 3.33%/7.15%；transducer 头给出 2.99%/6.67%，int4 变体可装入 8.3 MB。这比同一芯片上厂商识别器的错误少 2.3-2.8 倍，并且比 Whisper this http URL 和 Moonshine tiny 在笔记本电脑上全精度运行的错误更少，包括在真实噪声和混响环境下。在物理板卡上测量，固件在单核上以音频时长的 1.97 倍运行，转录结果与指令精确模拟器完全一致：准确，但尚未实时（4 秒的命令在其结束后约 8.7 秒转录完成）。双核调度在硅片上给出错误结果，已被禁用。流式变体在说话者讲话时显示部分文本，并在 3.6-10.6 秒的片段结束后 4.1-11.1 秒给出最终文本（话语模式下为 7.2-22.4 秒），WER 为 4.86%/11.03%；西班牙语模型比多语言 Whisper tiny 的错误少 34-60%。代码和模型已发布。
| 评论： | 11 页。代码、模型和原始板卡测量数据：this https URL |
| 主题： | 声音（cs.SD）；计算与语言（cs.CL）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2610.13447 [cs.SD] |
| （或 arXiv:2610.13447v1 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13447 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Daniel Varela [查看邮箱]
[v1]
2026 年 10 月 9 日星期五 11:48:37 UTC（31 KB）
来源：arXiv cs.CL · arxiv.org