跳到正文
arXiv cs.CL· Xinrui Zhong, Fanjiang Ye, Yuke Wang·· 9 小时前AI 评分38

RISA:面向块扩散语言模型的可恢复稀疏注意力

RISA: Recoverable Sparse Attention for Block-Diffusion Language Models

AI 导读

RISA 是一种面向块扩散语言模型的可恢复稀疏注意力方法,通过块内共享读取计划避免重复构建稀疏支持。在 DreamReasoner-8B 上,RISA 保持任务性能相当,32K 上下文下注意力较稠密实现提速 2.67 倍、固定轨迹请求提速 1.36 倍,128K 时注意力提速达 5.53 倍。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:块级扩散语言模型(DLM)并行地精炼多个 token,为逐 token 自回归解码提供了一种替代方案。然而,其长上下文推理仍受限于内存受限的注意力机制:每个去噪步骤都会重复读取不断增长的历史键值(KV)缓存。直接应用稀疏注意力并不能完全解决这一问题,因为不同的查询可能选择不同的页,从而膨胀该块的集体读取集合,而重复构建支持集会增加开销,永久驱逐则可能丢弃后续所需的信息。我们提出 RISA,一种面向块级 DLM 的可恢复稀疏注意力方法,带有共享读取计划。RISA 利用了这样一个事实:历史 KV 在块内保持固定,而查询会随着去噪步骤不断演化。新生成的历史被组织为精确优先级层和恢复层;随后种子查询构建一个受保护、有界的读取计划,其索引在整个块内复用,同时用新查询和当前块的 KV 重新计算注意力。这将历史保留与重复读取分离,并摊销稀疏支持集的构建,且不改变主干网络或解码器。在 DreamReasoner-8B 上,RISA 保持了相当的任务性能。在 32K 长度下,默认配置相比稠密注意力将注意力速度提升 $2.67\times$,固定轨迹请求提速 $1.36\times$,而在 128K 长度下注意力加速达到 $5.53\times$。在三个模型的八种设置中,在匹配 KL 的条件下,RISA 的解码速度快于所测试的 MAGE、QUEST 和 LoSA 预算。
学科: 计算与语言(cs.CL);机器学习(cs.LG)
引用为: arXiv:2611.22191 [cs.CL]
  (或 arXiv:2611.22191v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.22191

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Xinrui Zhong [查看邮箱]
[v1] 2026年11月17日星期二 04:27:48 UTC(314 KB)

来源:arXiv cs.CL · arxiv.org