跳到正文
热点事件持续更新

SparseGDN:线性注意力块稀疏框架

1 篇报道1 个报道来源9 小时前更新

先了解这件事

AI 综述

Jiedong Zhuang 等作者提出 SparseGDN 框架,把结构化块内近似与随输入变化的循环事件选择结合起来,同时仍为每个 token 产生输出。 在 Qwen3.5-4B 和 Qwen3.5-9B 上测试 4K 至 128K 上下文时,该框架平均只保留约 29% 的循环事件,使 GDN-core prefill 加速 1.50–1.94 倍,且这一加速已计入在线选择开销。

AI 根据报道生成 · 54 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月2日
  1. arXiv cs.CL
    SparseGDN:线性注意力中的分块稀疏机制

    SparseGDN 是一个硬件感知框架,将结构化块内近似与输入相关的循环事件选择结合,在 Qwen3.5-4B 和 Qwen3.5-9B 上测试 4K 至 128K 上下文,平均保留约 29% 的循环事件,实现 1.50-1.94 倍 GDN-core prefill 加速(含在线选择开销)。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。