跳到正文
热点事件持续更新

线性化2-单纯形注意力将序列开销降至二次

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Aritra Das、Dhruman Gupta 和 Debayan Gupta 提出 2-simplicial attention 的线性化形式:把原本的三线性打分改写为复合 query 与 key 的内积,使对 key 的求和与普通 softmax 注意力形式一致。 该方法用正随机特征近似 key 求和,并以固定大小的状态存储历史 key,两个 key 都覆盖全部历史 token。研究者称,这使序列长度上的计算开销从三次降为二次。

AI 根据报道生成 · 55 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.AI
    线性化 2-Simplicial Attention:用随机特征把三元注意力降到二次复杂度

    研究者提出 2-simplicial attention 的线性化形式,将三线性打分改写为复合 query 与 key 的内积,并用正随机特征近似 key 求和、以固定大小状态存储历史 key,使序列长度上的开销从三次降为二次,且两个 key 都覆盖全部历史 token。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。