跳到正文
arXiv·· 14 天前AI 评分31

SpecFold:为扩散语言模型更快投机解码折叠多分支冗余

SpecFold: Folding Multi-Branch Redundancy for Faster Speculative Decoding in Diffusion Language Models

AI 导读

SpecFold 针对扩散大语言模型(DLLM)投机解码中的多分支计算冗余,通过折叠各草稿分支继承自父分支的重复 token,加速单次前向验证。该方法聚焦于每个投机验证步骤内的分支间冗余,与以往利用去噪步骤间时间冗余的加速思路互补。

来源:arXiv · arxiv.org