RadarAI· X:UCSD Hao AI Lab (@haoailab)·· 3 小时前AI 评分45
UCSD Hao AI Lab 提出 RecSA:树形稀疏注意力覆盖全上下文
UCSD 提出 RecSA:树形稀疏注意力覆盖全上下文
AI 导读
UCSD Hao AI Lab 提出 RecSA,用树形结构做稀疏注意力,每个节点 16 个子节点,查询每层最多打分 4K 候选并选 256 个向下,上下文每扩大 16 倍树才多一层,64K 以内 2 层、2M 时 4 层。
正文 · AI 翻译
Hao AI Lab· @haoailab · X·2026-11-19 03:20· 1 小时前AI 评分41
AI 导读
UCSD Hao AI Lab 提出 RecSA,用树形结构做稀疏注意力:每个节点 16 个子节点,查询从顶层开始,每层最多打分 4K 候选并选 256 个向下,上下文每扩大 16 倍树才多一层,64K 以内 2 层、2M 时 4 层。
正文 · 原文
MoBA 和 DSA 等稀疏注意力仍会为每个查询对整个上下文打分,因此随着上下文增长,选择会变慢。在 RecSA 中,树的每个节点有 16 个子节点。查询从顶层开始,每层最多对 4K 个候选打分,并选出 256 个向下深入,因此上下文每扩大 16 倍,树才增加一层:64K token 以内为 2 层,2M 时为 4 层。查询未选中的节点不会被丢弃。它们与摘要一起进入同一个 softmax,紧邻精确 token,因此每个查询都覆盖整个上下文,无需 sink 或局部窗口。在 2M 时,一次查询读取约 12K 个条目,约为 32K 时的两倍。
来源:Hao AI Lab · x.com
来源:RadarAI · aihot.news