D2：从半双工骨干模型构建高能力全双工语音语言模型

D2: High-Capability Full-Duplex Spoken Language Models from Half-Duplex Backbones

AI 导读

研究者提出 Dialogue-to-Duplex（D2）框架，可将预训练半双工语音语言模型（HD-SLM）以细粒度时序转换为高能力全双工模型（FD-SLM），通过无解码器表征蒸馏适配流式音频编码器，并用监督微调学习全双工交互。

正文 · AI 翻译

摘要：全双工口语语言模型（FD-SLM）支持同时听与说，但在通用能力上往往落后于半双工口语语言模型（HD-SLM）。我们提出 Dialogue-to-Duplex（D2），一个将预训练 HD-SLM 在细时间粒度上转换为高能力 FD-SLM 的框架。D2 通过无解码器表示蒸馏使原始音频编码器适应流式处理，并通过监督微调学习全双工交互。我们系统研究了分块大小对全双工交互、通用能力和推理计算的影响。我们将 D2 应用于两种不同的 HD-SLM 架构：Qwen3-Omni 和 LLaMA-Omni 2。在 12.5Hz 更新率下，Qwen3-Omni-D2 实现了 99.2% 的轮次转换成功率、521 毫秒延迟、99.5% 的中断成功率，以及 70.1 的最先进 VoiceBench 分数。

评论：	17 页，包括参考文献和附录。演示：此 https URL
主题：	计算与语言（cs.CL）；人工智能（cs.AI）；音频与语音处理（eess.AS）
引用为：	arXiv:2610.17124 [cs.CL]
	（或 arXiv:2610.17124v1 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.17124 arXiv 颁发的 DOI 通过 DataCite（待注册）

提交历史

来自：Cheng Kuang Chang [查看电子邮件]
[v1] 2026 年 10 月 12 日星期一 17:15:29 UTC（1,630 KB）

来源：arXiv cs.AI · arxiv.org