arXiv cs.CL· Li Wang, Yi Su, Xiabao Wu, Chiran You, Yongchao Liu, Zhan Qiu, Juelu Zhang, Jiajun Zheng, Fangxin Liu, Jie Zhang, Chen Tian, Chengying Huan·· 11 小时前AI 评分42
Twig：面向混合注意力 LLM 的并行内存高效树形投机解码
Twig: Parallel and Memory-Efficient Tree Speculative Decoding for Hybrid-Attention LLMs
AI 导读
Twig 是面向混合注意力 LLM 的树形投机解码内核与运行时协同设计，通过树结构分解线性注意力递归，用 GPU 内核并行验证所有节点，线性注意力树验证提速 3.4–7.7 倍。
正文 · AI 翻译
作者：Li Wang、Yi Su、Xiabao Wu、Chiran You、Yongchao Liu、Zhan Qiu、Juelu Zhang、Jiajun Zheng、Fangxin Liu、Jie Zhang、Chen Tian、Chengying Huan
摘要：新兴的 LLM 越来越多地将全注意力与循环线性注意力交错使用，以降低长上下文服务成本。树形推测解码可以进一步加速这些混合模型，但循环线性注意力层带有依赖父节点的状态。因此，现有引擎会顺序验证候选树，并为每个节点快照完整状态，导致延迟和内存随树大小与批大小增长。我们提出 Twig，一种面向混合 LLM 树形推测解码的内核与运行时协同设计。Twig 推导出线性注意力循环的树结构因式分解，并用资源高效的 GPU 内核实现，可并行验证所有节点，将线性注意力树验证加速 3.4--7.7$\times$。它无损地将推测状态更新表示为 token 级因子，并仅重建被接受的状态，将瞬态状态内存减少 82--99$\times$，并为 KV 缓存释放 GPU 内存。我们将 Twig 集成到广泛部署的生产级 LLM 服务引擎 SGLang 中，并通过批级验证预算进一步优化其运行时。在四个模型、两个 GPU 平台和多样化数据集上，Twig 的离线解码吞吐量最高达到自回归解码的 $4.72\times$，最高达到最强树形推测基线的 $2.03\times$。在在线智能体工作负载下，与最强树形推测基线相比，Twig 将 TTFT 和 TPOT 分别最多降低 $67.6\%$ 和 $49.9\%$。
| 评论： | 已被 HPCA 2027 接收 |
| 主题： | 分布式、并行与集群计算（cs.DC）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2608.01651 [cs.DC] |
| （或 arXiv:2608.01651v2 [cs.DC] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.01651 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Li Wang [查看邮箱]
[v1]
2026年8月3日星期一 03:43:14 UTC（705 KB）
[v2]
2026年11月5日星期四 02:51:48 UTC（873 KB）
来源：arXiv cs.CL · arxiv.org