arXiv cs.CL· Heeseung Kim·· 9 天前AI 评分27
DiffuPlex：用滚动掩码扩散加速全双工语音对话模型
DiffuPlex: Accelerating Full-Duplex Spoken Dialog Models via Rolling Masked Diffusion
AI 导读
DiffuPlex 是一个滚动掩码扩散框架，通过单次骨干唤醒预测多个未来用户与助手帧，减少全双工语音对话模型的逐帧自回归计算。其 DiffuPlex-LISTEN 与 DiffuPlex-SPEAK 两种推理策略分别实现 1.46× 和 1.59× 部署路径墙钟加速、1.61× 和 1.80× Core LM 加速，所有骨干调用均在 80ms 交互间隔内完成。
正文 · AI 翻译
摘要：近期的全双工语音对话模型能够同时听和说，但细粒度模型在每个交互帧仍以自回归方式推进其主干网络。我们提出 DiffuPlex，一种滚动掩码扩散框架，通过在一次主干网络唤醒中预测多个未来的用户和助手帧，减少这种顺序计算。DiffuPlex 仅消费每个预测未来中置信的前缀，而交互仍以原始帧率继续进行。当用户语音到达时，它检查相应的用户预测，并在交互发生分歧时，保留已播放的助手内容，仅修改尚未播放的未来。我们针对同一预测器考虑两种推理策略：DiffuPlex-LISTEN 在预测到助手静音时消费多个未来帧，而 DiffuPlex-SPEAK 还可以消费预测的助手语音。在全双工交互和口语语言评估中，DiffuPlex 大幅减少了顺序主干网络计算，同时基本保持了交互行为和通用能力。DiffuPlex-LISTEN 和 DiffuPlex-SPEAK 分别实现了 $1.46\times$ 和 $1.59\times$ 的部署路径墙钟加速，以及 $1.61\times$ 和 $1.80\times$ 的核心 LM 加速，所有测得的主干网络调用均在 80ms 交互间隔内完成。人工评估表明，LISTEN 保持了语音自然度和对话质量，而 SPEAK 在保持对话质量的同时，语音自然度有所下降。
| Comments: | 41 页，11 幅图，18 张表。预印本，审稿中。项目页面：this https URL |
| Subjects: | 声音 (cs.SD)；计算与语言 (cs.CL) |
| Cite as: | arXiv:2610.12214 [cs.SD] |
| (或 arXiv:2610.12214v1 [cs.SD] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.12214 arXiv 颁发的 DOI 通过 DataCite（待注册） |
Submission history
来自：Heeseung Kim [查看电子邮件]
[v1]
2026年10月8日星期四 16:01:37 UTC（873 KB）
来源：arXiv cs.CL · arxiv.org