RadarAI· X:UCSD Hao AI Lab (@haoailab)·· 3 小时前AI 评分38
Hao AI Lab 的 RecSA 长上下文注意力推理提速
RecSA 长上下文注意力推理提速
AI 导读
Hao AI Lab 提出 RecSA 长上下文注意力方案,在单张 H200、batch size 为 1 下,524K 长度 Prefill 耗时 80 秒,稠密 FlashAttention 为 257 秒。
正文 · AI 翻译
Hao AI Lab· @haoailab · X·2026-11-19 03:20· 1 小时前AI 评分42
AI 导读
在单张 H200、batch size 为 1 的条件下,与同一框架内的稠密 FlashAttention 对比: • 524K 长度下 Prefill 耗时 80 秒,稠密注意力为 257 秒。 • 从 131K 到 524K,Decoding 稳定在每 token 约 6 ms,而稠密注意力从约 9 ms 增长到 23 ms。 • 在 1M 和 2M 长度下,将相应 token 卸载到主机内存后,RecSA 的 Decoding 分别为每 token 8 ms 和 11 ms;稠密注意力则需 177 ms 和 2.9 秒。 我们用 Triton 和 CUDA 编写这些 kernel,并且 e
正文 · 原文
在单张 H200、batch size 为 1 的条件下,与同一框架内的稠密 FlashAttention 对比:
- 524K 长度下 Prefill 耗时 80 秒,稠密注意力为 257 秒。
- 从 131K 到 524K,Decoding 稳定在每 token 约 6 ms,而稠密注意力从约 9 ms 增长到 23 ms。
- 在 1M 和 2M 长度下,将相应 token 卸载到主机内存后,RecSA 的 Decoding 分别为每 token 8 ms 和 11 ms;稠密注意力则需 177 ms 和 2.9 秒。
我们用 Triton 和 CUDA 编写这些 kernel,并且 e
来源:Hao AI Lab · x.com
来源:RadarAI · aihot.news