arXiv cs.AI· Zhicheng Zheng, Cheng Zhang, Chenkai Tang, Tianxiang Zhao·· 1 天前AI 评分27
DForkTree：用分叉感知块扩散草稿树加速投机解码
DForkTree: Accelerating Speculative Decoding with Fork-Aware Block Diffusion Draft Trees
AI 导读
DForkTree 是一种免训练方法，通过用目标模型生成的 n-gram 点互信息重新锚定草稿树各分支，并用逐层 GPU 搜索恢复最优树，解决块扩散草稿器在路径分叉后 top-1 准确率从 89% 跌至 18% 的问题。
正文 · AI 翻译
摘要：推测解码通过让轻量级草稿模型提出未来 token，再由目标模型并行验证，从而加速语言模型。DFlash 等块扩散草稿模型在一次前向传播中预测整个块，DDTree 则直接根据其逐位置分布构建草稿树。每个分布都隐含假设草稿模型自身的贪心续写会被接受，而草稿树只有在离开这条贪心路径的分支上才优于链式草稿。一旦路径分叉，草稿模型的 top-1 准确率便从 89% 降至 18%，其排名靠前的候选往往错过真实 token。从分叉 token 处重新运行草稿模型，其准确率基本恢复，这表明错误源于以过时前缀为条件，而非模型容量有限。本文提出 DForkTree，一种无需训练的方法，将每个分支重新锚定在其自身的 token 上。它利用目标模型生成的 n-gram 计算逐点互信息来调整草稿模型的分数，并在分叉后赋予更高权重；逐层 GPU 搜索在这些分数下恢复出精确的最优树。在 Qwen3.5-4B 和 9B 上，DForkTree 在所有基准测试中均优于所有基线，相较 DFlash 最高提升 41.5%，相较 DDTree 最高提升 15.1%，相较自回归解码平均加速最高达 4.75 倍。
| 评论： | 21 页，12 幅图，13 张表。代码：此 https URL |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.12356 [cs.AI] |
| （或本版本的 arXiv:2611.12356v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2611.12356 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhicheng Zheng [查看邮箱]
[v1]
2026 年 11 月 9 日星期一 13:06:52 UTC（471 KB）
[v2]
2026 年 11 月 12 日星期四 06:04:02 UTC（474 KB）
来源：arXiv cs.AI · arxiv.org