arXiv cs.CL· Siyuan Yan, Shen Gu, Xiaoxing Ma, Chun Cao, Jingwei Xu·· 10 小时前AI 评分31
Duet：面向块扩散语言模型的双稀疏推理框架
DUET: Dual-Sparse Inference for Block Diffusion Language Models
AI 导读
Duet 是一个免训练的双稀疏推理框架，通过前缀 KV 稀疏与早期 query 稀疏降低块扩散语言模型的推理开销。在 32K 上下文下，Duet 于 LLaDA2.1-mini 上实现 1.34×/2.83× 的端到端/单步加速，于 SDAR-8B-Chat-b32 上实现 2.41×/4.72× 加速，并保持有竞争力的准确率。
正文 · AI 翻译
摘要：扩散语言模型（DLM）通过迭代去噪实现并行 token 生成，但由于需要对不断增长的历史前缀反复进行注意力计算，并且要重复处理整个当前生成块，其推理成本仍然很高。随着生成推进，历史注意力的开销越来越大；而在每个去噪步骤中，当前块的所有位置都会经过 Transformer 传播，尽管通常只有一小部分位置在该步骤中被确定。本文提出 Duet，一个无需训练的双稀疏推理框架，分别通过前缀键值（KV）稀疏和早期查询稀疏来应对上述挑战。具体而言，Duet 利用每个生成块内历史注意力的集中性和跨步骤稳定性，构建一个紧凑的历史 KV 子集，并在各去噪步骤间复用。对于查询稀疏，Duet 从浅层表示预测更新位置，仅将对应的查询传播通过后缀 Transformer 层，避免在当前步骤中不太可能被更新的位置进行深层计算。实验表明，Duet 在保持有竞争力精度的同时，在 32K 上下文长度下于 LLaDA2.1-mini 上实现 1.34$\times$/2.83$\times$ 的端到端/每步加速，于 SDAR-8B-Chat-b32 上实现 2.41$\times$/4.72$\times$ 的加速。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.09239 [cs.CL] |
| （或 arXiv:2611.09239v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.09239 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Siyuan Yan [查看邮箱]
[v1]
2026年11月6日星期五 09:59:42 UTC（220 KB）
来源：arXiv cs.CL · arxiv.org