arXiv cs.CL· Zhichen Zeng, Xichong Zhang, Junpan Wu, Yifei Zuo, Chi-Chih Chang, Jiayi Wang, Maohua Nie, Ji Liu, Ang Li, Banghua Zhu·· 10 小时前AI 评分31
Step-dLLM：面向扩散 LLM 高效推理的自适应步感知稀疏注意力
Step-dLLM: Adaptive Step-aware Sparse Attention for Efficient Diffusion LLM Inference
AI 导读
Step-dLLM 通过沿去噪轨迹在锚点步周期性刷新块稀疏掩码、并采用头自适应全局预算，解决扩散大语言模型双向注意力无法复用 KV 缓存的问题。
正文 · AI 翻译
摘要：扩散大语言模型（dLLMs）通过迭代去噪并行生成 token，但其双向注意力机制阻碍了自回归模型所使用的 KV 缓存，并且每一步都要重新计算完整的注意力图，导致每步产生二次方级开销。现有的 dLLM 稀疏注意力方法在初始全注意力预热后构建稀疏掩码，并在剩余步骤中复用该掩码，同时在各注意力头之间均匀分配稀疏预算。我们认为这两种选择都忽略了 dLLM 中注意力的关键结构特性：从经验上看，注意力模式仅在步骤之间局部一致，并在某些转换处突然偏移；不同注意力头将其注意力质量集中的程度也差异极大。为此，我们设计了 Step-dLLM，它在去噪轨迹的锚点步骤上周期性刷新块稀疏掩码，并在每个局部一致区间内复用该掩码，同时采用头自适应的全局预算，对注意力集中的头进行更激进的压缩。在用于块稀疏注意力的融合 IO 感知 Triton 内核支持下，Step-dLLM 无需重新训练即可应用于预训练的 LLaDA-1.5 和 Dream-7B-Instruct，在 8K 上下文、256 个去噪步骤和 90% 稀疏度下，于 LLaDA-1.5 上相比稠密 FlashAttention 实现 2.78 倍端到端加速，同时相比先前的稀疏注意力方法改善了精度-延迟权衡。
| 评论： | 已被 NeurIPS 2026 接收。18 页 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.01320 [cs.CL] |
| （或 arXiv:2611.01320v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.01320 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhichen Zeng [查看邮箱]
[v1]
2026 年 10 月 31 日星期六 22:42:20 UTC（502 KB）
来源：arXiv cs.CL · arxiv.org