NVIDIA 如何用全栈协同设计解决 AI 内存瓶颈

更大的模型、更长的上下文和智能体应用正在增加 GPU 显存压力，同时供应趋紧、价格上涨——这一趋势预计短期内将持续。

NVIDIA 与内存合作伙伴紧密合作，快速采用最新内存技术。NVIDIA 率先将 HBM3e 和 HBM4 技术引入加速计算栈。

但这一方法并非简单地在 GPU 上堆叠更多内存，而是全栈协同设计。NVIDIA 有意将 GPU、CPU、网络、存储和软件一起设计，以便在 AI 工厂的每一层从内存中获得更多有效工作。

这一点很重要，因为 AI 工厂运行在内存和存储层级之上。GPU 高带宽内存（HBM）是最快、最昂贵且竞争最激烈的层级——模型权重和 KV 缓存争夺有限容量。其下是 CPU 内存、本地 SSD 和共享存储，各自以速度换取更大容量和更低的每比特成本。

一个字节能完成多少有效工作，取决于整个层级的使用效率：缩减必须存储的内容，将其放置在正确的层级，并在需要之前将其带回 GPU。

逐字节来看，NVIDIA 在每一层都实现了最高效的内存利用——结果也证明了这一点。从 NVIDIA Blackwell Ultra 到 Vera Rubin 平台，每 GPU 的 HBM 容量提升了约 3%，而在 SemiAnalysis AgentX 上，每美元的智能体吞吐量提升了高达 30 倍。

智能体推理正给 HBM 带来更大压力

前沿模型现在拥有数万亿参数——这些数值承载了 AI 模型在训练中学到的内容。

KV 缓存也在扩张，它保存模型理解每个活跃请求所需的上下文，而无需重新处理相同信息。智能体轨迹在反复的模型和工具调用中携带先前上下文，某些情况下处理多达 300 万个 token，因此每个请求的工作内存会随时间增长。

检索增强生成（RAG）将相关企业信息添加到提示中，产生更多需要处理和保留的上下文。

在推理过程中，HBM 主要同时保存模型参数和 KV 缓存。结果：对 HBM 的压力更大。

为什么 AI 工厂需要内存层级

增加每 GPU 的 HBM 容量是对这种压力的明显回应，但容量只能提供带宽所能移动的内容。

将 HBM 想象成一个仓库，内存带宽则是其装卸码头。更大的仓库能容纳更多库存，但码头决定了每次能进出多少。一旦码头达到容量上限，移动更多库存需要更长时间，并拖慢响应时间。如果延迟超过所需的服务水平，增加的空间就无法有效利用，即使它增加了成本并消耗电力。

这也是为什么没有哪个运营商会将所有库存都放在最近、最快的空间里。移动中的物品留在产线附近。等待中的物品转移到附近更大、更便宜的空间，并在需要之前返回。

AI 工厂面临同样的限制。

更多 HBM 可容纳更多 KV 缓存并支持更多并发用户。每增加一个用户，都要共享相同的计算和内存带宽。但当每个用户都期望快速响应时，内存带宽最终无法以计算所需的速度提供数据：工程师将这一限制称为内存墙。

超过这一临界点后，额外的 HBM 容量无法投入使用，却仍会增加成本并消耗电力。数据仍然需要有存放之处，但并非所有数据都需要最快、最昂贵的层级。这就是 AI 工厂要在内存与存储层级体系中管理数据的原因。

通过全栈协同设计最大化每一字节的价值

NVIDIA 的全栈协同设计通过缓解模型权重、KV 缓存和 RAG 数据带来的压力，让 HBM 的每一字节都物尽其用。它采用的技术分别针对不同的低效来源：

缩小模型权重，并将其分布到 NVL72 域中。

NVFP4 格式相比 FP8（NVIDIA Hopper 平台可用的最低精度）减少了权重所需的空间。近期发布的模型，包括 FLUX.2 [klein]（来自 Black Forest Labs）、Inkling（来自 Thinking Machines Lab）、Beam 1.0（来自 Reflection）、Meta Muse Spark（来自 Meta）、Step 5 Preview（来自 StepFun）以及 NVIDIA Nemotron 3.5 Super VL，均已发布 NVFP4 检查点，表明越来越多的模型构建者采用 4 位精度，以实现更快、更节省内存的推理。
在 NVL72 系统中，模型权重可以分布到多达 72 个 GPU 上，因此每个 GPU 只持有模型的一小部分——从而为 KV 缓存和并发用户留出更多 HBM。

缩小 KV 缓存，并将非活跃上下文卸载到成本更低的存储层级。

将 NVFP4 应用于 KV 缓存，相比 FP8 可减少其占用空间，从而让更多上下文常驻 HBM。
NVIDIA Vera CPU 从两方面提供帮助。更快的工具执行缩短了工具调用期间 KV 缓存处于非活跃状态的时间；而其大容量 LPDDR 内存通过 NVIDIA NVLink-C2C 互连与 NVIDIA Rubin GPU 相连，为暂停的上下文提供了就近等待并快速返回的场所。
当上下文未被主动使用时，NVIDIA Dynamo推理软件会将其移至NVIDIA CMX上下文内存存储——这一层级专为容量而构建，每比特成本远低于 HBM——并在复用前将其返回。与本地 SSD 不同，CMX 可在服务器之间共享；与企业级存储不同，它跳过了短期上下文并不需要的长期数据保护开销。NVIDIA CMX 上下文内存存储的合作伙伴包括Cloudian、DDN、Dell Technologies、Everpure（原 Pure Storage）、HPE、IBM、NetApp、VAST和WEKA。
Dynamo 的 KV Cache Reuse 将这些层级串联起来，把 KV 缓存作为跨 GPU 内存、CPU 内存和存储的系统级统一资源进行管理，因此计算过一次的上下文可在整个系统中复用。

紧凑的 RAG 嵌入，并将索引置于 HBM 之外。

RAG 将企业文档转化为嵌入——一种让系统按语义而非关键词进行搜索的数值表示——并组织成可搜索的索引。NVIDIA Nemotron Retriever 模型可生成更小的嵌入，同时具备更高的检索准确率，而 NVIDIA cuVS 库则支持在 CPU 和存储上构建并提供该索引。知识库从不占用 HBM，只有模型所需的段落才会进入上下文。

其结果是：用于模型权重的 HBM 更少，被闲置上下文占用的 HBM 更少，而可用于服务并发用户的 HBM 更多。

每一代都带来更高的每美元有效输出

在 NVIDIA 平台接连几代产品中，每美元每秒 token 数的增长远超 HBM 容量的增长。

在 SemiAnalysis AgentX DeepSeek V4 Pro 工作负载上，在每用户每秒 100 token 的条件下，NVIDIA GB300 NVL72 的每美元吞吐量最高可达 NVIDIA H200 平台的 10 倍，而每 GPU 的 HBM 容量约翻一番。在每用户每秒 125 token 的条件下，Vera Rubin NVL72 的每美元吞吐量最高可达 GB300 NVL72 的 30 倍，而每 GPU 的 HBM 容量仅增加约 3%。

对于 AI 工厂运营者而言，关键指标是工厂在满足用户响应时间需求的同时，能在其功耗预算内交付多少有效 token。每瓦每秒 token 数越高，意味着同样的电力能带来更多工作和收入，每个 token 的成本也更低。NVIDIA 的全栈协同设计通过提升每一字节内存所交付的有效工作量来降低 token 成本。

如需了解更多，请观看视频讲解和技术深度解析，了解 NVIDIA 全栈协同设计如何降低推理内存压力。