SparseGDN:线性注意力块稀疏框架
热点事件持续更新
SparseGDN:线性注意力块稀疏框架
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Jiedong Zhuang 等作者提出 SparseGDN 框架,把结构化块内近似与随输入变化的循环事件选择结合起来,同时仍为每个 token 产生输出。 在 Qwen3.5-4B 和 Qwen3.5-9B 上测试 4K 至 128K 上下文时,该框架平均只保留约 29% 的循环事件,使 GDN-core prefill 加速 1.50–1.94 倍,且这一加速已计入在线选择开销。
AI 根据报道生成 · 54 分钟前更新
最新进展11月2日 13:00
SparseGDN:线性注意力中的分块稀疏机制报道时间线
沿着报道,了解事件的不同侧面。
11月2日
- arXiv cs.CLSparseGDN:线性注意力中的分块稀疏机制
SparseGDN 是一个硬件感知框架,将结构化块内近似与输入相关的循环事件选择结合,在 Qwen3.5-4B 和 Qwen3.5-9B 上测试 4K 至 128K 上下文,平均保留约 29% 的循环事件,实现 1.50-1.94 倍 GDN-core prefill 加速(含在线选择开销)。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。