跳到正文
arXiv·· 12 天前AI 评分27

DLoop:循环式投机解码

DLoop: Looped Speculative Decoding

AI 导读

DLoop 提出循环式投机解码,针对目标模型频繁接受整个起草阶段全部 token 的情况,跳过随之而来的冗余验证,让起草继续进行,从而减少不必要的目标模型前向计算。该方法区别于在解码时决定起草长度的自适应起草长度方案。

来源:arXiv · arxiv.org