arXiv cs.CL· Nir Krakowski, Tamir Cohen, Ohad Zohar, Chen Zarfati·· 11 小时前AI 评分40
E-Gaborformer：采用 Gabor 字典卷积与 Delta 规则记忆的严格因果语音识别器
Gabor Gabor: E-Gaborformer, a Strictly Causal Speech Recognizer with Gabor-Dictionary Convolutions and Delta-Rule Memory
AI 导读
E-Gaborformer 是一种严格因果的语音识别编码器，将 Gated DeltaNet-2 循环层与滑动窗口注意力按 3:1 比例组合，所有时间卷积均由固定的因果 Gabor 原子字典构建，流式状态恒定，生产规模下每次调用约 19 MB（含预测网络），而同等规模的因果注意力编码器十分钟后累积超过 1 GB。
正文 · AI 翻译
摘要：实时语音代理需要一种语音识别器，它从不等待未来的音频，且每次调用的内存不随通话时长增长。我们提出 E-Gaborformer，一种严格因果的编码器，它以 3:1 的比例将 Gated DeltaNet-2 循环层与滑动窗口注意力相结合，并用固定的因果 Gabor 原子字典构建每一个时间卷积。其流式状态恒定，在生产规模下每次调用约 19 MB（包括预测网络），而同等规模的因果注意力编码器在十分钟后累积超过 1 GB。在 LibriSpeech 上进行的一项受控因果研究中，E-Gaborformer 更早离开初始平台期，达到给定准确率的速度最多快 18%，并匹配或超越使用相同前端和配方训练的 E-Branchformer。在生产规模下，基于 E-Gaborformer 构建的 0.6B 参数希伯来语和英语流式转录器，在英语语音代理流量上，其词错误率（WER）比同等规模的 NVIDIA Nemotron 3.5 ASR Streaming 低 28% 至 31%，希伯来语 WER 比我们之前的生产系统低最多 20%。相同的权重可服务于严格因果解码和 480 ms 前瞻解码，且准确率无损失，而 RNN-T 格的两类公式化表述使转录器训练速度提高 2.6 倍，且损失和梯度精确。
| 评论： | 19 页，6 幅图，9 张表 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL）；声音（cs.SD） |
| ACM 分类： | I.2.7；I.5.4 |
| 引用为： | arXiv:2611.08092 [cs.LG] |
| （或 arXiv:2611.08092v1 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.08092 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Nir Krakowski [查看电子邮件]
[v1]
2026 年 11 月 5 日星期四 14:36:34 UTC（32 KB）
来源：arXiv cs.CL · arxiv.org