arXiv cs.AI· Baoyou Chen, Ruiqiao Mei, Guancong Lin, Tao Song, Weihao Yuan, Qun Liu, Siyu Zhu·· 10 小时前AI 评分39
D3D：面向异步投机解码的解耦扩散草稿模型
D3D: Decoupled Diffusion Drafting for Asynchronous Speculative Decoding
AI 导读
D3D 是一种独立的扩散草稿模型，通过块级去噪加辅助自回归监督，摆脱对目标模型隐藏状态的依赖，可在验证阶段并行草拟后续块，实现异步投机解码。以 Qwen3-8B 和 Qwen3-32B 为目标时，D3D 在七个基准上平均解码加速 5.00× 和 5.71×，DFlash 为 4.03× 和 3.67×；Qwen3-32B 在 GSM8K 上加速达 7.48×。
正文 · AI 翻译
摘要：以目标模型为条件的扩散草稿器可并行预测候选 token，但每个新块都必须等待更新后的目标模型隐藏状态。这迫使草拟与验证串行执行，即使每个块都能在一次前向中生成，也限制了加速效果。我们提出 D3D，一种独立的扩散草稿器，消除了这种轮次间依赖。D3D 将分块去噪与辅助自回归监督相结合，无需目标隐藏状态即可获得较长的被接受前缀。这种独立性使 D3D 能在验证期间以一次打包前向草拟后续块，从而实现异步推测解码。我们根据各层对接受长度的影响逐步剪枝，以降低打包草拟的成本。在 Qwen3-8B 作为目标模型时，在三个基准上移除 36 层中的 5 层仍能保留超过 99\% 的平均接受长度。在七个基准上，D3D 以 Qwen3-8B 和 Qwen3-32B 为目标模型时平均分别实现 5.00$\times$ 和 5.71$\times$ 的解码加速，而 DFlash 为 4.03$\times$ 和 3.67$\times$。在 Qwen3-32B 上的 GSM8K 中，加速达到 7.48$\times$。代码已公开于 此 https URL。
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.06425 [cs.AI] |
| （或 arXiv:2611.06425v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06425 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Baoyou Chen [查看邮箱]
[v1]
2026年11月4日星期三 12:27:58 UTC（1,882 KB）
来源：arXiv cs.AI · arxiv.org