arXiv cs.CL· Jiaming Fan, Daming Cao, Canchen Huang, Jiale Fu, Jin Zhang, Junjie Gao, Kai Yang, Xiangzhong Luo, Xu Yang·· 3 天前AI 评分22
TreeGraft：面向树状投机解码的自适应多草稿模型嫁接框架
TreeGraft: Adaptive Multi-Drafter Grafting for Tree-Based Speculative Decoding
AI 导读
TreeGraft 是一个多草稿模型框架，让不同成本的草稿模型共同构建一棵共享草稿树，用更强的草稿模型为弱草稿模型的候选重新打分、重选嫁接位置并恢复被遗漏的有希望路径，同时以非破坏性方式整合强模型扩展。它引入从离线价值系统蒸馏的轻量调度器来决定何时调用强草稿模型。在 10 组模型对和 6 个基准上，TreeGraft 平均超越两种固定单草稿模型端点策略中更优者 15.1%，最高增益 26.6%。
正文 · AI 翻译
摘要：推测解码通过“先草拟后验证”的范式加速大语言模型推理。在此基础上，树结构方法通过将候选组织为多条候选路径来改进推理，提高被接受的生成长度。然而，现有的树结构方法在所有草拟步骤中都使用单个草拟器，造成两难：较小的草拟器速度快但生成的树质量较低，而较大的草拟器能提高树质量却延迟较高。为解决这一问题，我们提出 TreeGraft，一种多草拟器框架，其中不同开销的草拟器共同构建一棵共享草拟树。TreeGraft 使用更强的草拟器对较弱草拟器给出的分数进行重新评分，重新选择嫁接位置，并恢复此前未探索的有希望的路径。它还能以非破坏性方式整合更强草拟器的扩展，保留可能仍会被目标模型接受的现有分支。这些设计共同提升了共享草拟树的质量。为控制草拟开销，TreeGraft 引入一个从离线价值系统蒸馏而来的轻量级调度器，以决定何时调用更强的草拟器。在 10 个模型对和 6 个基准上，TreeGraft 平均比两种固定单草拟器端点策略中更优者高出 15.1%，最大增益达 26.6%。我们的代码见 this https URL。
| Subjects: | 计算与语言（cs.CL） |
| 引用为： | arXiv:2608.26112 [cs.CL] |
| （或 arXiv:2608.26112v3 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2608.26112 由 DataCite 提供的 arXiv 颁发 DOI |
提交历史
来自：Jiaming Fan [查看邮箱]
[v1]
2026年5月28日星期四 17:52:11 UTC（620 KB）
[v2]
2026年8月28日星期五 04:00:32 UTC（620 KB）
[v3]
2026年10月14日星期三 12:28:01 UTC（648 KB）
来源：arXiv cs.CL · arxiv.org