arXiv cs.CL· Yuma Oda, Ryan Mathieu, Roman Knyazhitskiy, Artur Chakhvadze·· 12 小时前AI 评分38
Weaver：用因子化边际构建投机解码提议树，实现 4.08 倍加速
Trees from Marginals: Autoregressive drafting with factorized priors
AI 导读
Weaver 是一种轻量自回归适配器，从因子化 draft 模型的 top-K 边际分布构建提议树，恢复提议 token 间的条件依赖，且无需全词表投影。作者还针对 Gated Delta Net 层推导出无回滚树验证算法，并在 SGLang 中实现优化 CUDA kernel。该方案相比自回归解码实现 4.08 倍加速，并比高度优化的 DFlash 基线高出 16.3%。
正文 · AI 翻译
摘要：推测解码通过以计算换取单次前向传播中生成的额外 token，大幅提升了自回归语言模型的交互性。因子化草稿模型尤其高效，因为它们并行预测未来 token 的边缘分布，但其独立性假设导致随着推测预算增大，接受率急剧下降。我们分析了这一局限，并引入 Weaver，一种轻量级自回归适配器，它从因子化草稿器的 top-K 边缘分布构建提议树。Weaver 恢复了提议 token 之间的条件依赖，同时避免了全词表投影。为支持具有 Gated Delta Net 层的模型的快速验证，我们推导了一种无回滚的树验证算法，并在 SGLang 中实现了优化的 CUDA 内核。通过结合这些模型与系统贡献，我们相比自回归解码实现了 4.08 倍加速，并比高度优化的 DFlash 基线高出 16.3%。
| 学科： | 机器学习 (cs.LG)；计算与语言 (cs.CL) |
| 引用为： | arXiv:2607.06763 [cs.LG] |
| （或 arXiv:2607.06763v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.06763 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yuma Oda [查看邮箱]
[v1]
2026年7月7日 星期二 19:48:36 UTC (956 KB)
[v2]
2026年7月12日 星期日 19:52:09 UTC (911 KB)
[v3]
2026年10月21日 星期三 16:07:58 UTC (908 KB)
来源：arXiv cs.CL · arxiv.org