跳到正文
RadarAI· X:UCSD Hao AI Lab (@haoailab)·· 3 小时前AI 评分38

Hao AI Lab 的 RecSA 稀疏注意力在 RULER 各长度领先

RecSA 稀疏注意力在 RULER 领先

AI 导读

Hao AI Lab 提出稀疏注意力方法 RecSA,在 RULER 上从 131K 到 2M 的每个长度均排名第一,领先优势从 131K 时约 3 分扩大到 1M 时约 20 分,32K 时与稠密注意力持平。

正文 · 原文

Hao AI Lab· @haoailab · X·2026-11-19 03:20· 1 小时前AI 评分41

AI 导读

每个节点的 key 来自一个小型 pooler,每个注意力层约 25K 参数。我们先从冻结的 Qwen3-4B 中逐层蒸馏出该 pooler,然后将其冻结并仅在 32K 序列上训练模型。每种稀疏方法对每个 query 读取相同数量的条目,而 RecSA 在 131K 到 2M 的每个长度上都在 RULER 上排名第一。其领先优势从 131K 时的约 3 分增长到 1M 时的约 20 分,并在 32K 时与稠密注意力持平。

正文 · 原文

Each node's key comes from a small pooler, about 25K parameters per attention layer. We first distill the pooler level by level from the frozen Qwen3-4B, then freeze it and train the model, on 32K sequences only. Every sparse method reads the same number of entries per query, and RecSA ranks first on RULER at every length from 131K to 2M. Its lead grows from about 3 points at 131K to about 20 at 1M, and it matches dense attention at 32K.

来源:Hao AI Lab · x.com

来源:RadarAI · aihot.news