RadarAI· X:UCSD Hao AI Lab (@haoailab)·· 3 小时前AI 评分38
Hao AI Lab 的 RecSA 稀疏注意力在 RULER 各长度领先
RecSA 稀疏注意力在 RULER 领先
AI 导读
Hao AI Lab 提出稀疏注意力方法 RecSA,在 RULER 上从 131K 到 2M 的每个长度均排名第一,领先优势从 131K 时约 3 分扩大到 1M 时约 20 分,32K 时与稠密注意力持平。
正文 · AI 翻译
Hao AI Lab· @haoailab · X·2026-11-19 03:20· 1 小时前AI 评分41
AI 导读
每个节点的 key 来自一个小型 pooler,每个注意力层约 25K 参数。我们先从冻结的 Qwen3-4B 中逐层蒸馏出该 pooler,然后将其冻结并仅在 32K 序列上训练模型。每种稀疏方法对每个 query 读取相同数量的条目,而 RecSA 在 131K 到 2M 的每个长度上都在 RULER 上排名第一。其领先优势从 131K 时的约 3 分增长到 1M 时的约 20 分,并在 32K 时与稠密注意力持平。
正文 · 原文
每个节点的 key 来自一个小型 pooler,每个注意力层约 25K 参数。我们先从冻结的 Qwen3-4B 中逐层蒸馏出该 pooler,然后将其冻结并仅在 32K 序列上训练模型。每种稀疏方法对每个 query 读取相同数量的条目,而 RecSA 在 131K 到 2M 的每个长度上都在 RULER 上排名第一。其领先优势从 131K 时的约 3 分增长到 1M 时的约 20 分,并在 32K 时与稠密注意力持平。
来源:Hao AI Lab · x.com
来源:RadarAI · aihot.news