研究：投机解码复用目标概率可提升接受率

Jungseob Lee 等作者发表论文，研究投机解码中能否用已算出的下一 token 目标分布来挑选下一棵草稿树。研究称，用当前上下文单独计算的目标分布对首 token 分支重排序，可提升期望接受率，树预算较小时尤为明显；先从该分布抽取首 token 再分配树，即使平均树大小相同，也优于剪枝预选树。当单独的目标前向与独立草稿生成重叠时，两种选择规则的解码速度都快于草稿排序。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。