RadarAI· 公众号：小红书技术（dots.llm）·2026-10-21 17:59· 3 小时前AI 评分24

小红书 DoSA 将长上下文首 token 延迟无损减少近一半

AI 导读

小红书自研稀疏注意力索引器加速方法 DoSA，在保持原始 Top-K 选择结果不变的前提下，用分数上下界提前排除不可能入选的候选，将长上下文首 token 延迟无损减少近一半。

正文

公众号：小红书技术·2026-10-21 17:59· 58 分钟前AI 评分48

提速不降智，小红书DoSA将首token延迟无损减少近一半

AI 导读

小红书自研的稀疏注意力索引器加速方法 DoSA，在保持原始 Top-K 选择结果的前提下，用分数上下界提前排除不可能入选的候选。

来源：公众号：小红书技术 · mp.weixin.qq.com

来源：RadarAI · aihot.news