UCSD 提出 RecSA 稀疏注意力,RULER 各长度领先
先了解这件事
UCSD Hao AI Lab 提出树形稀疏注意力方法 RecSA:树中每个节点有 16 个子节点,查询在每一层最多对 4K 个候选打分,并从中选出 256 个继续向下;上下文每扩大 16 倍,树才增加一层,因此 64K 以内为 2 层,2M 时为 4 层。 Hao AI Lab 称,在让各稀疏方法每次查询读取相同数量条目的条件下,RecSA 在 RULER 上从 131K 到 2M 的每个长度都排名第一,领先优势从 131K 时约 3 分扩大到 1M 时约 20 分,32K 时与稠密注意力持平。该实验先在冻结的 Qwen3-4B 上逐层蒸馏 pooler,再冻结 pooler,只用 32K 序列训练模型。 在单张 H200、batch size 为 1 的条件下,RecSA 处理 524K 长度的 Prefill 耗时 80 秒,稠密 FlashAttention 为 257 秒;在 1M 和 2M 长度下,将 exact tokens 卸载到主机内存后,RecSA 每 token 解码耗时分别为 8 毫秒和 11 毫秒,稠密注意力则为 177 毫秒和 2.9 秒。
AI 根据报道生成 · 1 小时前更新
事件进展
2 个进展
- 11月19日 03:20 · 2 篇报道RecSA稀疏注意力方法在RULER各长度领先RadarAI:Hao AI Lab 的 RecSA 稀疏注意力在 RULER 各长度领先
- 11月19日 03:20 · 1 篇报道UCSD Hao AI Lab 提出树形稀疏注意力 RecSARadarAI:UCSD Hao AI Lab 提出 RecSA:树形稀疏注意力覆盖全上下文
报道时间线
沿着报道,了解事件的不同侧面。
- RadarAIHao AI Lab 的 RecSA 稀疏注意力在 RULER 各长度领先
Hao AI Lab 提出稀疏注意力方法 RecSA,在 RULER 上从 131K 到 2M 的每个长度均排名第一,领先优势从 131K 时约 3 分扩大到 1M 时约 20 分,32K 时与稠密注意力持平。
- RadarAIHao AI Lab 的 RecSA 长上下文注意力推理提速
Hao AI Lab 提出 RecSA 长上下文注意力方案,在单张 H200、batch size 为 1 下,524K 长度 Prefill 耗时 80 秒,稠密 FlashAttention 为 257 秒。
- RadarAIUCSD Hao AI Lab 提出 RecSA:树形稀疏注意力覆盖全上下文
UCSD Hao AI Lab 提出 RecSA,用树形结构做稀疏注意力,每个节点 16 个子节点,查询每层最多打分 4K 候选并选 256 个向下,上下文每扩大 16 倍树才多一层,64K 以内 2 层、2M 时 4 层。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。