arXiv cs.AI· Aritra Das, Dhruman Gupta, Debayan Gupta·· 10 小时前AI 评分27
线性化 2-Simplicial Attention:用随机特征把三元注意力降到二次复杂度
Linearized 2-Simplicial Attention
AI 导读
研究者提出 2-simplicial attention 的线性化形式,将三线性打分改写为复合 query 与 key 的内积,并用正随机特征近似 key 求和、以固定大小状态存储历史 key,使序列长度上的开销从三次降为二次,且两个 key 都覆盖全部历史 token。
正文 · AI 翻译
摘要:我们提出一种线性化的 2-simplicial attention 形式,将三线性得分改写为复合查询与键之间的内积,从而使对键的求和与普通 softmax attention 具有相同形式。随后我们用正随机特征近似该求和,并将所有先前的键存储在一个固定大小的状态中,而对第二个键的求和在所有先前 token 上保持精确。这将序列长度上的计算成本从三次降低到二次,并且两个键都在所有先前 token 上取值,这是窗口化 2-simplicial attention 所不允许的。我们用自定义 Triton 内核实现它,并将其与 Kimi Delta Attention 结合,构建了一个完全不含 softmax attention 的模型。在 FineWeb-Edu 上使用 15B 等量训练 token,该模型相比 KDA 混合模型将验证损失从 2.35 降至 2.32,并将 LAMBADA 困惑度从 40 降至 38。
| 学科: | 人工智能(cs.AI) |
| 引用为: | arXiv:2608.09307 [cs.AI] |
| (或此版本的 arXiv:2608.09307v2 [cs.AI]) | |
| https://doi.org/10.48550/arXiv.2608.09307 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Aritra Das [查看邮箱]
[v1]
2026年8月10日星期一 08:53:30 UTC(20 KB)
[v2]
2026年11月18日星期三 16:36:07 UTC(16 KB)
来源:arXiv cs.AI · arxiv.org