arXiv·· 14 天前AI 评分31
SpecFold:为扩散语言模型更快投机解码折叠多分支冗余
SpecFold: Folding Multi-Branch Redundancy for Faster Speculative Decoding in Diffusion Language Models
AI 导读
SpecFold 针对扩散大语言模型(DLLM)投机解码中的多分支计算冗余,通过折叠各草稿分支继承自父分支的重复 token,加速单次前向验证。该方法聚焦于每个投机验证步骤内的分支间冗余,与以往利用去噪步骤间时间冗余的加速思路互补。
来源:arXiv · arxiv.org