arXiv cs.CL· Jiedong Zhuang, Peng Zhao, Jialin Tang, Haoji Hu·· 10 小时前AI 评分31
SparseGDN：线性注意力中的分块稀疏机制
SparseGDN: Chunk Sparse in Linear Attention
AI 导读
SparseGDN 是一个硬件感知框架，将结构化块内近似与输入相关的循环事件选择结合，在 Qwen3.5-4B 和 Qwen3.5-9B 上测试 4K 至 128K 上下文，平均保留约 29% 的循环事件，实现 1.50-1.94 倍 GDN-core prefill 加速（含在线选择开销）。
正文 · AI 翻译
摘要：门控 Delta 网络（GDN）提供线性时间序列建模，但由于块内密集计算、循环状态更新和中间状态存储，长上下文预填充仍然代价高昂。我们提出 SparseGDN，一个硬件感知框架，它将结构化块内近似与输入相关的循环事件选择相结合，同时为每个 token 生成输出。块相邻求解器减少了局部 Delta 求解计算，而动态选择器在头对之间分配循环更新预算。GPU 实现仅为选定事件物化更新，并使用紧凑状态快照和组内局部交互重建 token 输出，从而减少计算和内存流量。我们在 Qwen3.5-4B 和 Qwen3.5-9B 上，针对 RULER 任务和 4K 到 128K 的上下文长度评估了 SparseGDN。平均保留约 29% 的循环事件，SparseGDN 相比原生 FLA 内核实现了 1.50-1.94 倍的 GDN 核心预填充加速，包括在线选择开销。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.41420 [cs.LG] |
| （或 arXiv:2610.41420v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41420 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jiedong Zhuang [查看电子邮件]
[v1]
2026年10月30日星期五 08:27:36 UTC（681 KB）
来源：arXiv cs.CL · arxiv.org