语音语言模型驱动的token化语音分离框架SLM-SS提出

Chenda Li 等作者提出基于 token 的生成式语音分离框架 SLM-SS，用语音语言模型处理多说话人混合音频。该框架先用神经编解码器把干净语音离散化为多码本 token 序列，并通过 Serialized Output Training 将多说话人目标串行化；再由编码器-解码器自回归模型预测零阶序列，确定说话人顺序与粗粒度语言内容，非自回归模块则细化高阶残差码本。 报道未给出该框架在分离效果或对比实验上的具体结果。

AI 根据报道生成 · 54 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。