arXiv cs.AI· Chenda Li, Tianhua Li, Yiming Chen, Wei Wang, Jiahe Wang, Xin Zhou, Yanmin Qian·· 11 小时前AI 评分29
SLM-SS：基于语音语言模型的 Token 化语音分离框架
SLM-SS: Token-Based Speech Separation with Speech Language Models
AI 导读
SLM-SS 是一个基于 token 的生成式语音分离框架，用语音语言模型处理多说话人混合音频：先用神经编解码器将干净语音离散化为多码本 token 序列，并通过 Serialized Output Training（SOT）串行化多说话人目标，再由编码器-解码器自回归模型预测零阶序列确定说话人顺序与粗粒度语言内容，非自回归模块细化高阶残差码本。
正文 · AI 翻译
摘要：近年来，随着基于神经网络的方法的出现，语音分离（SS）取得了实质性进展，在信号级评估指标上实现了显著提升。现有的语音分离系统大多以信号级目标进行优化，其输出在波形指标上通常可以接受，但对于对可懂度敏感的下游任务而言并非最优。为弥补这一差距，我们提出 SLM-SS，一种基于 token 的生成式语音分离框架，利用语音语言模型对多说话人混合语音进行建模。我们首先使用神经编解码器将干净语音离散化为多码本 token 序列，并通过序列化输出训练（SOT）对多说话人目标进行序列化。一个编码器-解码器自回归语音语言模型预测零阶序列，以建立说话人排序和粗略的语言内容，随后一个非自回归模块细化高阶残差码本，以实现高效重建。我们进一步引入逐说话人非自回归策略，简化高阶建模并提高稳定性。在 Libri2Mix 上，采用逐说话人 NAR 的 SLM-SS 达到 $6.92\%$ WER，接近仅编解码器重建的水平。WavTokenizer 变体省去了 NAR 细化，在参与评估的分离系统中取得了最高的平均主观质量得分。其相对于判别式基线的 UTMOS 和 DNSMOS 优势在未经微调的情况下，于未见过的含噪混合语音和中文混合语音上依然保持。
| 主题： | 声音（cs.SD）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.27785 [cs.SD] |
| （或 arXiv:2610.27785v1 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.27785 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tianhua Li [查看邮箱]
[v1]
2026年10月20日 星期二 07:50:43 UTC（3,722 KB）
来源：arXiv cs.AI · arxiv.org