跳到正文
NVIDIA Technical Blog· Timmy Liu·· 4 小时前AI 评分38

NVIDIA 如何为高效长上下文推理协同设计稀疏注意力

Co-Designing Sparse Attention for Efficient Long-Context Inference

AI 导读

NVIDIA 技术博客探讨了面向长上下文推理的稀疏注意力协同设计:当上下文从数万 token 扩展到数十万 token 时,稠密注意力因每个 query 都要与所有 key 计算而成为 Transformer 层中最昂贵的部分,在 128K token 下可能占据大部分 prefill 时间。文章围绕这一瓶颈讨论软硬件协同的稀疏注意力方案。

正文 · AI 翻译

智能体工作负载、长文档和大型代码库正将上下文长度从数万 token 推向数十万 token。在这样的长度下,……

智能体工作负载、长文档和大型代码库正将上下文长度从数万 token 推向数十万 token。在这样的长度下,注意力成为 transformer 层中开销最大的部分。稠密注意力会将每个查询与每个键进行打分,因此每个查询的开销随上下文长度 N 增长,而在 128K token 时,它可能占据……预填充时间的大部分。

来源

来源:NVIDIA Technical Blog · developer.nvidia.com