DominoTree：结合 Domino 的条件树结构草稿加速投机解码

查看 PDF HTML（实验性）

摘要：推测解码可加速大语言模型推理：小型草稿模型提出若干 token，目标模型在一次并行前向中对其进行验证。草拟一棵树可让目标模型一次性验证多条备选续写。DDTree 从块扩散草稿模型 DFlash 构建此类树，但独立地为每个位置打分，不考虑其分支中更早的 token；Domino 以这些 token 为条件，但只草拟单条链。DominoTree 将两者结合：一棵免训练的最佳优先树，由 Domino 的路径相关因果校正打分，并限制在前 M 个候选内。在温度为零的研究测试框架中，它在 Qwen3-4B 上平均比自回归（AR）解码加速 5.33 倍，在 Qwen3-8B 上加速 6.89 倍，峰值达 8.77 倍；跨温度条件下，它在 Qwen3-4B 上比 Domino 快 20-26%，在 Qwen3-8B 上快 27-36%，并比 DDTree 及其成本感知变体 CaDDTree 中更强的一个快 11-20%。受控分解显示，校正带来 +10.1%（Qwen3-4B）和 +10.7%（Qwen3-8B）的接受长度，以实际路径为条件带来 +4.7% 和 +4.4%。在单块 RTX 5090 上以 SGLang 部署时，它在批大小为 1 时达到 AR 的 4.11 倍和 4.83 倍，是 Domino 链速度的 1.17 倍和 1.09 倍，并在 8K token 的 HELMET 摘要任务上最高达到 AR 的 1.71 倍，比链高 14-21%。该领先优势在 2 个并发请求时仍保持，但从 8 个起反转，此时尽管 DominoTree 的接受率高出 28%，链仍维持更高的有效吞吐。在所有服务设置中，DominoTree 接受的 token 数都多于链。在混合 Gated-DeltaNet Qwen3.6-27B 上，正确输出需要树感知的循环验证；具备该验证后，DominoTree 在批大小为 1 时与链持平（AR 的 4.58 倍对 4.54 倍），并在长上下文下最高达到 AR 的 2.11 倍，比链高 15%。

评论：	31 页。已投稿至 IEEE Access。v4：新增 Qwen3.6-27B 结果、单 GPU 服务重跑、融合树构建内核和调优预算；代码和数据见此 https URL
主题：	计算与语言（cs.CL）
引用为：	arXiv:2607.08642 [cs.CL]
	（或 arXiv:2607.08642v4 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2607.08642 arXiv 颁发的 DOI 通过 DataCite

提交历史

来自：Saw San Lin [查看邮箱]
[v1] 2026 年 7 月 9 日星期四 16:16:35 UTC（115 KB）
[v2] 2026 年 7 月 10 日星期五 04:07:45 UTC（115 KB）
[v3] 2026 年 8 月 18 日星期二 06:10:29 UTC（129 KB）
[v4] 2026 年 10 月 16 日星期五 14:29:03 UTC（108 KB）