arXiv cs.CL· Jungseob Lee, Giyoon Jang, Chailin Nam, Jiwoo Kum, Sihyeon Lee, Kyojun Choo, Jihun Song, Eunseo Song, Chanjun Park·· 12 小时前AI 评分22
理解投机解码中的目标概率复用
Understanding Target Probability Reuse in Speculative Decoding
AI 导读
研究显示，在投机解码中，用当前上下文单独计算的目标分布对首 token 分支重排序，可提升期望接受率，小树预算下尤为明显。先从该分布抽取首 token 再分配树，即使平均树大小相同，也比剪枝预选树更优。当单独的目标前向与独立草稿生成重叠时，两种选择规则的解码速度均快于草稿排序。
正文 · AI 翻译
摘要：推测解码使用目标模型并行验证一棵草稿令牌树。我们研究由此得到的下一令牌分布能否帮助选择下一棵树。对于无限制的目标模型，我们证明，要保证精确复用，需要基于下一轮完整上下文计算出的分布。我们刻画了保留该分布何时需要牺牲已接受的令牌，并确立了这种损失在解码轮次间持续存在的条件。在六个目标模型上，我们发现，用当前上下文单独计算的分布对首令牌分支重新排序，相比草稿排序能提高期望接受率，尤其是在树预算较小时。在分配树之前从该分布中抽取首令牌，即使平均树大小相同，相比剪枝预选树也能进一步提高期望接受率。在我们的实验中，当单独的目标模型前向与独立草稿生成重叠时，这两种选择规则的解码速度也快于草稿排序。我们的发现表明，在树分配之前提供目标概率可以提高推测解码的效率。我们的代码可在 此 https URL 获取。
| 评论： | 29 页，6 幅图，29 张表。代码：此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.29210 [cs.CL] |
| （或 arXiv:2610.29210v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29210 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chanjun Park [查看邮箱]
[v1]
2026 年 10 月 21 日星期三 05:02:50 UTC（467 KB）
来源：arXiv cs.CL · arxiv.org