arXiv cs.AI· Chung-En Ho, Weiyu Sun, Cheng-Jhih Shih, He Li, Yong Liu, Yingyan Celine Lin·· 10 天前AI 评分28
SpecFold：折叠多分支冗余，加速扩散语言模型投机解码
SpecFold: Folding Multi-Branch Redundancy for Faster Speculative Decoding in Diffusion Language Models
AI 导读
SpecFold 是一种算法与系统协同设计方法，通过折叠注意力与 FFN 复用父分支计算，减少扩散语言模型多分支投机验证中的冗余开销。在两类 DLLM、五个模型和五个基准上，其吞吐量最高达 Spiffy 的 1.64 倍、原生解码的 1.99 倍，且任务性能相当。该方法与时间缓存正交，兼容现有 DLLM 投机策略。
正文 · AI 翻译
摘要：扩散大语言模型（DLLM）通过迭代式块去噪生成文本，而多分支推测解码通过在单次前向传播中同时验证一个主分支和多个草稿分支来加速这一过程。此前的 DLLM 加速方法主要利用去噪步骤间的时间冗余，而我们发现了每个推测验证步骤内一个互补的冗余维度：多分支计算冗余。在推测验证过程中，草稿分支从父分支继承大部分 token，同时仅额外揭示少量位置，导致各分支间大部分隐藏状态保持高度相似。我们提出 SpecFold，一种算法与系统协同设计，利用这种多分支冗余来降低多分支推测验证的开销。在算法层面，SpecFold 执行 token 级残差门控，并通过折叠注意力与 FFN 选择性复用父分支计算，同时保留残差隐藏状态。在系统层面，Triton 内核实现通过高效的稀疏多分支执行，将这种细粒度复用转化为端到端吞吐量提升。SpecFold 与时间缓存正交，并兼容现有的 DLLM 推测策略。在两个 DLLM 系列、五个模型和五个标准基准上，SpecFold 相比 Spiffy 实现最高 1.64 倍吞吐量提升，相比原始解码最高 1.99 倍，同时保持相当的任务性能。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.04875 [cs.AI] |
| （或使用 arXiv:2610.04875v2 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.04875 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Chung-En Ho [查看邮箱]
[v1]
2026年10月4日星期日 02:25:38 UTC（453 KB）
[v2]
2026年10月6日星期二 03:42:24 UTC（453 KB）
来源：arXiv cs.AI · arxiv.org