Artificial Analysis 发布 NVIDIA Vera Rubin NVL72 在 AA-AgentPerf 上的首批评测结果

Artificial Analysis· @ArtificialAnlys · X·2026-10-16 09:18· 2 小时前AI 评分51

AI 导读

Artificial Analysis 在其 agentic 推理基准 AA-AgentPerf 上发布 NVIDIA Vera Rubin NVL72 的首批结果。

正文

NVIDIA Vera Rubin NVL72 在 AA-AgentPerf 上的首批结果现已上线，在 DeepSeek V4 Pro 上每兆瓦总吞吐量最高可达其前代 GB300 NVL72 的约 5.7 倍，在 DeepSeek V4.1 Flash 上约 5.4 倍，在 GLM-5.2 上约 3.0 倍，在 Kimi K3 上约 2.8 倍

Vera Rubin 是 NVIDIA 的 Blackwell 继任者，Vera Rubin NVL72 是其机架级系统，配备 72 块 Rubin GPU 和 36 颗 Vera CPU。每块 Rubin GPU 拥有与 Blackwell Ultra 相同的 288 GB 内存，但内存带宽为 2.4 倍，NVLink 带宽为 1.7 倍，密集 NVFP4 算力为 2.3 倍。NVIDIA 提交了所有 Vera Rubin 结果，运行 TensorRT-LLM 和 vLLM，并搭配 NVIDIA Dynamo

AA-AgentPerf 是我们的 agentic 推理性能基准。它回放真实的 agentic 编码会话，包括长缓存上下文和工具调用延迟，以真实衡量日常 agentic 工作负载中的推理性能。我们测量每兆瓦实测 GPU 功耗下的系统总吞吐量，以及不同并发水平下的单 agent 输出速度（请求的 p25），以展示系统利用率与单个用户体验之间的权衡

首批结果：

➤ Vera Rubin 的领先优势在更快的单用户速度下最大，此时 GB300 的吞吐量会大幅下降。在 DeepSeek V4 Pro 上，单用户速度从约 120 提升到约 165 tok/s 时，GB300 每兆瓦吞吐量损失 81%，而 Vera Rubin 仅损失 16%

➤ 在峰值吞吐量下，两者更为接近：在 DeepSeek V4 Pro 上，Vera Rubin 为每兆瓦 272M tokens/s，而 GB300 为 239M（1.14 倍）；在 DeepSeek V4.1 Flash 上为 571M 对 395M（1.45 倍）；在 GLM-5.2 上为 272M 对 201M（1.35 倍）；在 Kimi K3 上为 70M 对 56M（1.26 倍）。我们预计，随着 Vera Rubin 内核和其他服务软件得到优化，两套系统之间的差距将会扩大

➤ Vera Rubin 在我们的排行榜上创下了 DeepSeek V4.1 Flash（906 tok/s，所有模型中最快的结果）、GLM-5.2（408 tok/s）和 Kimi K3（255 tok/s）的最快单用户速度

祝贺 @nvidia 取得如此强劲的结果！

阅读完整分析：https://artificialanalysis.ai/articles/vera-rubin-nvl72-agentperf

来源：Artificial Analysis · x.com