论文提出因果语音隔离器，开源模型在 AMI 通话上词错率 16.13%

查看 PDF HTML（实验性）

摘要：通过一个麦克风收听的人也会听到附近所有人的声音。我们训练因果语音隔离器：140M、243M 和 374M 参数的掩码 transformer，20 毫秒延迟，从通话本身注册呼叫者。短评估窗口掩盖了真实通话暴露的两个失败：当另一个声音单独说话一段时间后忘记呼叫者，以及损害独自一人的呼叫者。带有轮次、超出注意力窗口的记忆、真实耳机串扰和漂移的呼叫者电平的长通话解决了这两个问题，但每个都以另一个为代价。WavLM-Large 自身的权重，被做成因果的并与模型一起训练，改变了这种权衡：带有它们的 M（555M 参数）将我们开发集上的错误率从 11.44% 降低到 10.55%；一个从头训练以模仿 WavLM 的学生模型则没有，而 w2v-BERT 2.0 和 Whisper 的编码器，在更多音频上预训练，帮助更少或根本没有帮助。独自一人的呼叫者在录音开始时损失最大：没有训练通话是以已经有人在说话开始的。在从更长通话中切出的窗口上训练，将干净开发通话上的错误率从 3.92% 降低到 2.96%；这是我们的发布版本。实时情况下，发布版本在 60 秒 AMI 窗口上产生 16.13% 的词错误率，而 VoxLock（最强的开放隔离器）为 23.66%，在其自己的 AMI 窗口上为 10.19%，而后者为 11.71%；它在 Krisp 的基准上持平（5.74% 对 5.63%），而独自一人的呼叫者仍然比使用 VoxLock 损失更多词（在干净测试通话上为 5.58% 对 2.92%）。蒸馏成 22.1M 参数且不含 WavLM 后，它在一个 LiveKit 代理内在一个 CPU 线程上实时运行，每次通话在 20 毫秒帧中占用一个核心的 33%，在我们开发集上的错误率为 10.66%（发布版本为 10.49%）。我们在此 https URL 开源发布版本和此 CPU 模型，并附带一个 LiveKit 插件。

主题：	声音 (cs.SD)；计算与语言 (cs.CL)
引用为：	arXiv:2610.35272 [cs.SD]
	（或此版本的 arXiv:2610.35272v1 [cs.SD]）
	https://doi.org/10.48550/arXiv.2610.35272 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Husein Zolkepli [查看电子邮件]
[v1] 2026 年 10 月 26 日星期一 11:46:17 UTC（4,201 KB）