跳到正文
RadarAI· 山景城小路·· 19 小时前AI 评分22

ML 铅笔手稿第 27 期:FlashAttention 如何优化 KV Cache 到 PagedAttention 的显存

ML 铅笔手稿第 27 期:FlashAttention 详解 KV Cache 到 PagedAttention 的显存优化

AI 导读

ML 铅笔手稿第 27 期详解 FlashAttention 通过分块 tiling 与 online softmax 在 SRAM 中局部计算 attention,避免 N×N 注意力矩阵的完整搬运,从而降低 attention 计算中 HBM 的读写开销、提升 LLM 推理效率。内容还覆盖了从 KV Cache 到 PagedAttention 的显存优化脉络。

来源:RadarAI · bestblogs.dev