跳到正文
arXiv·· 12 天前AI 评分34

Nucleus Speculative Decoding:超越精确分布的合理性感知验证

Nucleus Speculative Decoding: Plausibility-Aware Verification Beyond Exact Distribution

AI 导读

研究提出 Nucleus Speculative Decoding(NSD),一种放宽的投机解码验证方法,在目标模型下仍高度合理的 token 不再被标准接受规则拒绝,从而提升每次验证前向传播后保留的草稿 token 数量。标准接受规则聚焦精确分布校正,当草稿模型分配过高概率时会拒绝这些 token,限制了保留数量。

来源:arXiv · arxiv.org