arXiv cs.CL· Jihao Zhao, Qianyu Jiang, Shuaishuai Zu, Pengfei Li, Guanghuan Fang, Ben Feng, Biao Qin, Zhibin Wang, Baochuan Yang·· 3 天前AI 评分27
TreeSpark：为投机解码学习起草待验证的树
TreeSpark: Learning to Draft the Trees You Verify for Speculative Decoding
AI 导读
TreeSpark 是一个统一训练与推理框架，扩展半自回归 DSpark 架构，通过一次主干前向构建父条件候选树，并在训练中重放其扩展、剪枝与预算打包。在 Qwen3-4B 与 Qwen3-8B 上，九个通用基准和六个写作领域的平均接受长度较 DSpark 提升 23.4% 至 31.6%，单请求吞吐提升 15.1% 至 25.0%。
正文 · AI 翻译
摘要：DFlash 和 DSpark 等并行草稿器降低了提议延迟，但早期不匹配限制了每个块可被接受的比例。保留备选方案会引入父状态和候选选择，而基于参考条件的训练无法直接监督这些内容。我们提出 TreeSpark，一个统一的训练与推理框架，扩展了半自回归 DSpark 架构。它通过一次主干前向传播构建父条件候选树，并在训练期间重放其扩展、剪枝和预算打包过程。生存负对数似然根据参考推导的路径质量对保留边进行加权，而带上限的覆盖铰链损失则促进局部选择边界附近对目标重要的备选方案。这两个目标都复用参考链目标分布，无需额外的目标前向传播。我们在九个通用基准和六个写作领域上评估了 Qwen3-4B 和 Qwen3-8B 的贪婪解码。跨目标与套件，TreeSpark 将平均接受长度较 DSpark 提升 23.4% 至 31.6%，平均单请求吞吐量提升 15.1% 至 25.0%。批量 Qwen3-4B 吞吐量提升 12.6% 至 17.2%。在固定注意力容量和推理策略下，所提出的监督在 Qwen3-4B 上进一步将平均接受长度提升约 6.4%，平均系统吞吐量提升 4.2% 至 5.0%。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.20175 [cs.CL] |
| （或 arXiv:2610.20175v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20175 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jihao Zhao [查看电子邮件]
[v1]
2026年10月14日星期三 13:21:09 UTC（2,005 KB）
来源：arXiv cs.CL · arxiv.org