跳到正文
RadarAI· X:UCSD Hao AI Lab (@haoailab)·· 3 小时前AI 评分38

Hao AI Lab 的 RecSA 稀疏注意力在 RULER 各长度领先

RecSA 稀疏注意力在 RULER 领先

AI 导读

Hao AI Lab 提出稀疏注意力方法 RecSA,在 RULER 上从 131K 到 2M 的每个长度均排名第一,领先优势从 131K 时约 3 分扩大到 1M 时约 20 分,32K 时与稠密注意力持平。

正文 · AI 翻译

Hao AI Lab· @haoailab · X·2026-11-19 03:20· 1 小时前AI 评分41

AI 导读

每个节点的 key 来自一个小型 pooler,每个注意力层约 25K 参数。我们先从冻结的 Qwen3-4B 中逐层蒸馏出该 pooler,然后将其冻结并仅在 32K 序列上训练模型。每种稀疏方法对每个 query 读取相同数量的条目,而 RecSA 在 131K 到 2M 的每个长度上都在 RULER 上排名第一。其领先优势从 131K 时的约 3 分增长到 1M 时的约 20 分,并在 32K 时与稠密注意力持平。

正文 · 原文

每个节点的 key 来自一个小型 pooler,每个注意力层约 25K 参数。我们先从冻结的 Qwen3-4B 中逐层蒸馏出该 pooler,然后将其冻结并仅在 32K 序列上训练模型。每种稀疏方法对每个 query 读取相同数量的条目,而 RecSA 在 131K 到 2M 的每个长度上都在 RULER 上排名第一。其领先优势从 131K 时的约 3 分增长到 1M 时的约 20 分,并在 32K 时与稠密注意力持平。

来源:Hao AI Lab · x.com

来源:RadarAI · aihot.news