RadarAI· X:UCSD Hao AI Lab (@haoailab)·· 3 小时前AI 评分38
Hao AI Lab 的 RecSA 长上下文注意力推理提速
RecSA 长上下文注意力推理提速
AI 导读
Hao AI Lab 提出 RecSA 长上下文注意力方案,在单张 H200、batch size 为 1 下,524K 长度 Prefill 耗时 80 秒,稠密 FlashAttention 为 257 秒。
正文 · 原文
Hao AI Lab· @haoailab · X·2026-11-19 03:20· 1 小时前AI 评分42
AI 导读
在单张 H200、batch size 为 1 的条件下,与同一框架内的稠密 FlashAttention 对比: • 524K 长度下 Prefill 耗时 80 秒,稠密注意力为 257 秒。 • 从 131K 到 524K,Decoding 稳定在每 token 约 6 ms,而稠密注意力从约 9 ms 增长到 23 ms。 • 在 1M 和 2M 长度下,将相应 token 卸载到主机内存后,RecSA 的 Decoding 分别为每 token 8 ms 和 11 ms;稠密注意力则需 177 ms 和 2.9 秒。 我们用 Triton 和 CUDA 编写这些 kernel,并且 e
正文 · 原文
On one H200 with batch size 1, against dense FlashAttention in the same framework:
- Prefill at 524K takes 80 s, against 257 s.
- Decoding stays at about 6 ms per token from 131K to 524K, while dense attention grows from about 9 to 23 ms.
- At 1M and 2M, with the exact tokens offloaded to host memory, RecSA decodes at 8 and 11 ms per token; dense attention takes 177 ms and 2.9 s.
We write the kernels in Triton and CUDA, and e
来源:Hao AI Lab · x.com
来源:RadarAI · aihot.news