arXiv cs.AI· Haoyu Huang, Jialiang Kang, Linlin Yang, Xiao Yang, Baochang Zhang·· 10 小时前AI 评分29
Multi-Future Drafting（MFD）：用混合块草稿器改进树验证投机解码
Multi-Future Drafting: Mixture Block Drafters for Tree-Verified Speculative Decoding
AI 导读
针对块草稿器在树验证下因乘积排序产生"嵌合前缀"、浪费接受预算的问题，研究者提出 Multi-Future Drafting（MFD），用 K 个学习到的模式嵌入在同一次前向中草拟 K 个连贯块，并以混合 DDTree 让验证器无损选择目标模型实际走的那条未来。
正文 · AI 翻译
摘要：DFlash 等块草稿器在一次前向传播中草拟一块未来 token，而 DDTree 等草稿树则验证按草稿器各位置分布乘积排名最高的前缀。在树验证下，预期接受的 token 数量是树所覆盖的概率质量。我们表明，乘积会错误地分配这一质量：当续写可以沿多条未来路径展开时，它会把它们拼接成嵌合体——由不同未来路径拼接而成、目标模型从不产生的前缀——并给予它们与未来路径本身同样多的预算。除非出现并列，否则任何按乘积排序的树，只要包含两条在 $m$ 个位置上不一致的未来路径，就必然包含 $2^{m-1}-1$ 个嵌合体，无论草稿器训练得多好；在实践中，嵌合体占 64 节点树的 27-33%。我们提出多未来草稿（Multi-Future Drafting，MFD），它用潜变量而非链式法则恢复耦合：草稿器输入端的 $K$ 个学习到的模式嵌入在同一次传播中草拟 $K$ 个连贯块，而混合 DDTree 让验证器无损地选择目标模型所走的未来路径，仅需 $K+1$ 个额外向量。在四个参数量从 4B 到 27B 的 Qwen 目标模型上，批大小为 1 时，MFD 达到最高 7.8$\times$ 的加速，比同样训练的最佳单模式树快 5-8%，并且在 Qwen3-4B 和 Qwen3-8B 上，比在相同提示上训练的已发布 DARTree 快 9-16%。
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.13017 [cs.AI] |
| （或本版本使用 arXiv:2611.13017v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2611.13017 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Haoyu Huang [查看邮箱]
[v1]
2026年11月9日星期一 05:15:08 UTC（185 KB）
来源：arXiv cs.AI · arxiv.org