跳到正文
RadarAI· X:UCSD Hao AI Lab (@haoailab)·· 3 小时前AI 评分38

Hao AI Lab 的 RecSA 长上下文注意力推理提速

RecSA 长上下文注意力推理提速

AI 导读

Hao AI Lab 提出 RecSA 长上下文注意力方案,在单张 H200、batch size 为 1 下,524K 长度 Prefill 耗时 80 秒,稠密 FlashAttention 为 257 秒。

正文 · AI 翻译

Hao AI Lab· @haoailab · X·2026-11-19 03:20· 1 小时前AI 评分42

AI 导读

在单张 H200、batch size 为 1 的条件下,与同一框架内的稠密 FlashAttention 对比: • 524K 长度下 Prefill 耗时 80 秒,稠密注意力为 257 秒。 • 从 131K 到 524K,Decoding 稳定在每 token 约 6 ms,而稠密注意力从约 9 ms 增长到 23 ms。 • 在 1M 和 2M 长度下,将相应 token 卸载到主机内存后,RecSA 的 Decoding 分别为每 token 8 ms 和 11 ms;稠密注意力则需 177 ms 和 2.9 秒。 我们用 Triton 和 CUDA 编写这些 kernel,并且 e

正文 · 原文

在单张 H200、batch size 为 1 的条件下,与同一框架内的稠密 FlashAttention 对比:

  • 524K 长度下 Prefill 耗时 80 秒,稠密注意力为 257 秒。
  • 从 131K 到 524K,Decoding 稳定在每 token 约 6 ms,而稠密注意力从约 9 ms 增长到 23 ms。
  • 在 1M 和 2M 长度下,将相应 token 卸载到主机内存后,RecSA 的 Decoding 分别为每 token 8 ms 和 11 ms;稠密注意力则需 177 ms 和 2.9 秒。

我们用 Triton 和 CUDA 编写这些 kernel,并且 e

来源:Hao AI Lab · x.com

来源:RadarAI · aihot.news