软注意力查询无关coreset获更优界与高效构造
热点事件持续更新
软注意力查询无关coreset获更优界与高效构造
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Ofek I. Cohen 提出面向 softmax 注意力头的查询无关 coreset 构造：规模为 O(e^ρ(√d_v+√(d_k log(1+ρ)))/ε)，可在随机多项式时间内完成。 该结果改进了 Liberty、Andoni 与 Kleiner 给出的存在性上界 O(√d·e^{ρ+½logρ+o(loglogρ)}/ε)，使其与后者的下界 Ω(√d·e^ρ/ε) 仅相差 √log(1+ρ)。其中 ρ 为查询半径与中心化键半径之积。
AI 根据报道生成 · 2 小时前更新
最新进展11月5日 13:00
面向 Softmax 注意力的查询无关 coreset：更优界与高效构造报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- arXiv cs.CL面向 Softmax 注意力的查询无关 coreset：更优界与高效构造
研究者为 softmax 注意力头构造出查询无关 coreset，规模为 O(e^ρ(√d_v+√(d_k log(1+ρ)))/ε)，在随机多项式时间内完成，将 Liberty、Andoni 与 Kleiner 的存在性上界改进到距其下界仅差 √log(1+ρ)。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。