小红书提出DoSA稀疏注意力索引器加速方法

小红书提出自研稀疏注意力索引器加速方法 DoSA，称在保持原始 Top-K 选择结果不变的前提下，用分数上下界提前排除不可能入选的候选，将长上下文首 token 延迟无损减少近一半。 该说法来自小红书，其“无损”指 Top-K 选择结果与原始方法一致，延迟降幅为该公司公布的数据。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。