线性化2-单纯形注意力将序列开销降至二次
热点事件持续更新
线性化2-单纯形注意力将序列开销降至二次
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Aritra Das、Dhruman Gupta 和 Debayan Gupta 提出 2-simplicial attention 的线性化形式:把原本的三线性打分改写为复合 query 与 key 的内积,使对 key 的求和与普通 softmax 注意力形式一致。 该方法用正随机特征近似 key 求和,并以固定大小的状态存储历史 key,两个 key 都覆盖全部历史 token。研究者称,这使序列长度上的计算开销从三次降为二次。
AI 根据报道生成 · 55 分钟前更新
最新进展11月20日 13:00
线性化 2-Simplicial Attention:用随机特征把三元注意力降到二次复杂度报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- arXiv cs.AI线性化 2-Simplicial Attention:用随机特征把三元注意力降到二次复杂度
研究者提出 2-simplicial attention 的线性化形式,将三线性打分改写为复合 query 与 key 的内积,并用正随机特征近似 key 求和、以固定大小状态存储历史 key,使序列长度上的开销从三次降为二次,且两个 key 都覆盖全部历史 token。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。