arXiv·· 12 天前AI 评分34
Nucleus Speculative Decoding:超越精确分布的合理性感知验证
Nucleus Speculative Decoding: Plausibility-Aware Verification Beyond Exact Distribution
AI 导读
研究提出 Nucleus Speculative Decoding(NSD),一种放宽的投机解码验证方法,在目标模型下仍高度合理的 token 不再被标准接受规则拒绝,从而提升每次验证前向传播后保留的草稿 token 数量。标准接受规则聚焦精确分布校正,当草稿模型分配过高概率时会拒绝这些 token,限制了保留数量。
来源:arXiv · arxiv.org