arXiv cs.AI· Hemanth HM·· 10 小时前AI 评分38
Swanada：分离编码器能力路由 Conformer CTC，跨 12 种文字实现 30 MB 以下端侧语音识别
Swanada: Split-Encoder Capability-Routed Conformer CTC and Sub-30 MB On-Device Speech Recognition Across Twelve Scripts
AI 导读
Swanada 是一个开源 16 kHz 流式 ASR 系统，覆盖梵语、印度英语及十种印度语言共 12 种文字，通过能力路由的共享 INT8 Conformer 编码器搭配 12 个 515.0 KiB 可热插拔 CTC 头，把 12 语言存储从 2.1 GiB 压到 183.4 MiB（Studio 档）和 31.39 MiB（Mobile 档）。
正文 · AI 翻译
摘要：面向印度语系与古典文字体系的客户端自动语音识别（ASR）可消除云端转写成本、网络尾延迟以及服务器端音频留存，然而神经网络的导出在浏览器与移动运行时中面临四个系统性瓶颈：(1) 单体的按语言 Conformer 检查点每个文字体系约需 177 MiB（12 个文字体系合计 > 2.1 GiB），耗尽 CacheStorage 配额；(2) 静态相对位置编码表内嵌 10.2-20.5 MB 的 FP32 常量，而 1x1 Conv1d 层在 WebAssembly SIMD 中会触发缓慢或不受支持的 ConvInteger 内核；(3) 滑动窗口 CTC 在边界 token 上出现闪烁；(4) 移动端 WebAudio 管线在 iOS WKWebView 下遭遇 44.1/48 kHz 采样率不匹配以及 AudioWorklet 静默停滞。
我们提出 Swanada，一个开源的 16 kHz 流式 ASR 系统，覆盖古典梵语、印度英语以及十种印度语言（sa、en、hi、kn、mr、bn、ta、te、ml、gu、pa、or），横跨浏览器 WebAssembly、this http URL 与 Python。Swanada 将能力路由的共享 INT8 Conformer 编码器（面向桌面/服务器的 17 层 177.38 MiB Studio 档，$d = 512$；以及面向手机的蒸馏 14 层 25.35 MiB Mobile 档，$d = 256$）与十二个可热插拔的 515.0 KiB 原生文字线性 CTC 头（$257 \times 512$）配对，将 12 语言存储量削减 $11.6\times$（183.4 MiB）与 $67.8\times$（31.39 MiB；首次加载 25.85 MiB）。运行时 protobuf 尾部手术在 $< 2$ ms 内暴露共享表示，而动态位置合成、MatMul 逐点卷积以及量化后 QInt8 头校准将精度保持在 30 MB 以下。在 $N = 480$ 条留出集与 $N = 1,280$ 条公开测试片段（FLEURS、LibriSpeech、GLOBE、AMI、野外梵语）上，Swanada 在 Studio 档取得 5.43% 留出集与 8.87% 12 语言公开 CER（Mobile 档为 18.56% 与 19.23%），RTF 为 $0.0097\times$-$0.0264\times$，中位 TTFT 为 30.6 ms，已提交前缀抖动为 0.00%。
| 评论： | 7 页，2 幅图，3 张表。开源浏览器、NodeJS 与 Python 实现，交互式演示见 this https URL 与 this https URL |
| 主题： | 声音（cs.SD）；人工智能（cs.AI） |
| ACM 分类： | I.2.7; H.5.5; D.3.4 |
| 引用为： | arXiv:2611.13814 [cs.SD] |
| （或本版本引用 arXiv:2611.13814v1 [cs.SD]） | |
| https://doi.org/10.48550/arXiv.2611.13814 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hemanth Hegadehallli Madhavarao [查看邮箱]
[v1]
2026 年 11 月 10 日星期二 09:43:36 UTC（133 KB）
来源：arXiv cs.AI · arxiv.org