跳到正文
RadarAI· X:UCSD Hao AI Lab (@haoailab)·· 3 小时前AI 评分45

UCSD Hao AI Lab 提出 RecSA:树形稀疏注意力覆盖全上下文

UCSD 提出 RecSA:树形稀疏注意力覆盖全上下文

AI 导读

UCSD Hao AI Lab 提出 RecSA,用树形结构做稀疏注意力,每个节点 16 个子节点,查询每层最多打分 4K 候选并选 256 个向下,上下文每扩大 16 倍树才多一层,64K 以内 2 层、2M 时 4 层。

正文 · AI 翻译

Hao AI Lab· @haoailab · X·2026-11-19 03:20· 1 小时前AI 评分41

AI 导读

UCSD Hao AI Lab 提出 RecSA,用树形结构做稀疏注意力:每个节点 16 个子节点,查询从顶层开始,每层最多打分 4K 候选并选 256 个向下,上下文每扩大 16 倍树才多一层,64K 以内 2 层、2M 时 4 层。

正文 · 原文

MoBA 和 DSA 等稀疏注意力仍会为每个查询对整个上下文打分,因此随着上下文增长,选择会变慢。在 RecSA 中,树的每个节点有 16 个子节点。查询从顶层开始,每层最多对 4K 个候选打分,并选出 256 个向下深入,因此上下文每扩大 16 倍,树才增加一层:64K token 以内为 2 层,2M 时为 4 层。查询未选中的节点不会被丢弃。它们与摘要一起进入同一个 softmax,紧邻精确 token,因此每个查询都覆盖整个上下文,无需 sink 或局部窗口。在 2M 时,一次查询读取约 12K 个条目,约为 32K 时的两倍。

来源:Hao AI Lab · x.com

来源:RadarAI · aihot.news