arXiv cs.AI· Shijing Hu, Xuancheng Ren, Zhihui Lu, Pan Zhou·· 9 天前AI 评分22
树状推测解码为何丢失目标概率：Exit-Guided 推测解码方法
Where Draft Trees Lose Target Mass: Exit-Guided Speculative Decoding
AI 导读
研究揭示基于草稿分数构建的有限树存在草稿-目标不匹配问题，提出 Tree Exit Verification（TEV）精确验证方法与 ExitTrain 训练方法。TEV 通过一次退出节点决策和一次 bonus token 决策实现层级并行验证，在对话、代码和数学推理任务上，ExitTrain 将平均输出块长度提升 13%，TEV 将验证阶段延迟降低 15%，端到端较 DDTree 加速 14%。
正文 · AI 翻译
摘要：基于树的推测解码在一次目标模型前向传播中验证多个草稿续写，但由草稿分数构建的有限树面临根本性的草稿-目标不匹配。我们探究更好的精确验证能否在固定树上提高接受率，以及目标反馈如何改进树本身。通过目标流视角，我们识别出一条规范退出律，并证明一加目标覆盖率能严格界定任何精确路径验证器的期望输出块长度（包括奖励 token）。所有最优验证器共享相同的退出与奖励 token 律，这已由代表性的预抽取-跟随和顺序残差验证器实现。由此得到树退出验证（TEV），一种精确、层级并行的过程，使用一次退出节点决策和一次奖励 token 决策。该退出律还识别出缺失的目标概率，为推理时草稿树上的退出引导草稿树训练（ExitTrain）提供节点级反馈。在对话、代码和数学推理上的实验验证了固定树等价性：ExitTrain 将平均输出块长度提高 13%，而 TEV 将验证器阶段延迟降低 15%，相比 DDTree 实现 14% 的端到端加速。我们的结果区分了两个机会：更好的草稿树以提高接受率，以及更直接的验证以降低延迟。代码：此 https URL。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.11750 [cs.AI] |
| （或 arXiv:2610.11750v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11750 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Shijing Hu [查看邮箱]
[v1]
2026年10月8日星期四 11:40:13 UTC（297 KB）
来源：arXiv cs.AI · arxiv.org