跳到正文
arXiv cs.AI· Aritra Das, Dhruman Gupta, Debayan Gupta·· 10 小时前AI 评分27

线性化 2-Simplicial Attention:用随机特征把三元注意力降到二次复杂度

Linearized 2-Simplicial Attention

AI 导读

研究者提出 2-simplicial attention 的线性化形式,将三线性打分改写为复合 query 与 key 的内积,并用正随机特征近似 key 求和、以固定大小状态存储历史 key,使序列长度上的开销从三次降为二次,且两个 key 都覆盖全部历史 token。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:我们提出一种线性化的 2-simplicial attention 形式,将三线性得分改写为复合查询与键之间的内积,从而使对键的求和与普通 softmax attention 具有相同形式。随后我们用正随机特征近似该求和,并将所有先前的键存储在一个固定大小的状态中,而对第二个键的求和在所有先前 token 上保持精确。这将序列长度上的计算成本从三次降低到二次,并且两个键都在所有先前 token 上取值,这是窗口化 2-simplicial attention 所不允许的。我们用自定义 Triton 内核实现它,并将其与 Kimi Delta Attention 结合,构建了一个完全不含 softmax attention 的模型。在 FineWeb-Edu 上使用 15B 等量训练 token,该模型相比 KDA 混合模型将验证损失从 2.35 降至 2.32,并将 LAMBADA 困惑度从 40 降至 38。
学科: 人工智能(cs.AI)
引用为: arXiv:2608.09307 [cs.AI]
  (或此版本的 arXiv:2608.09307v2 [cs.AI])
  https://doi.org/10.48550/arXiv.2608.09307

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Aritra Das [查看邮箱]
[v1] 2026年8月10日星期一 08:53:30 UTC(20 KB)
[v2] 2026年11月18日星期三 16:36:07 UTC(16 KB)

来源:arXiv cs.AI · arxiv.org