Step-dLLM：扩散LLM推理的步感知稀疏注意力

Zhichen Zeng 等作者提出 Step-dLLM 稀疏注意力方法，用于加速扩散大语言模型推理。该方法沿去噪轨迹在锚点步周期性刷新块稀疏掩码，并在各局部一致区间内复用，同时采用头自适应全局预算，对注意力集中的头施加更强压缩，以应对扩散模型双向注意力无法复用 KV 缓存的问题。 作者称，Step-dLLM 无需重新训练即可用于预训练的 LLaDA-1.5 和 Dream-7B-Instruct；在 LLaDA-1.5 上，8K 上下文、256 步去噪、90% 稀疏度条件下，相对稠密 FlashAttention 取得 2.78 倍端到端加速。

AI 根据报道生成 · 43 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。