跳到正文
NVIDIA Newsroom· Hannah Coutand·· 2 小时前AI 评分38

NVIDIA Vera CPU:兼顾最高吞吐与最快智能体性能

Vera Delivers the Best of Both Worlds: Highest Throughput and Fastest Agents

AI 导读

NVIDIA 推出 Vera CPU,在 100 兆瓦数据中心对比中同时优于最快的 x86 CPU 和最节能的 x86 CPU:相比最快 x86 每瓦可支持 1.6 倍智能体数量,相比最节能 x86 智能体速度快 2 倍。

正文 · AI 翻译

AI 智能体不仅能生成答案,还能搜索信息、查询数据库、编写和测试代码并采取行动。 

上述每一步都依赖 CPU,智能体在整个任务过程中要在 GPU 推理和 CPU 执行之间来回切换。 

随着企业部署更多智能体投入工作,AI 工厂需要能够在可用功耗限制内快速执行这些步骤并同时支持大量智能体的 CPU。

这意味着: AI 基础设施提供商需要支持更多智能体,同时不让每个智能体等待更长时间才能完成工作。更关键的是,AI 工厂受功耗限制。这意味着运营方需要选择能让每一瓦功耗完成最多工作的基础设施。 

为何重要: NVIDIA Vera 在单颗 CPU 内同时提供快速的智能体性能和高能效容量。这让提供商可以用一颗 CPU 应对多种智能体工作负载,而不必混搭快速型和密集型 x86 部件来平衡速度与容量。

数据佐证: 在 100 兆瓦数据中心的对比中,NVIDIA 发现单颗 Vera CPU 的表现优于最快的 x86 CPU 和最节能的 x86 CPU。

  • Vera 提供业界领先的智能体速度,同时相比最快的 x86 CPU,每瓦可支持 1.6 倍的智能体数量。
  • 相比最节能的 x86 CPU,Vera 提供 2 倍的智能体速度,并具备领先的能效。

合作伙伴已将 Vera 投入使用。早期采用者在生产级测试中看到了同样出色的性能:

  • Perplexity:使用 Vera 运行智能体编码任务比传统 CPU 快 1.5 倍。Perplexity 计划在即将推出的生产系统中部署 Vera。
  • DeepInfra:在其生产智能体工作负载的智能体编排上,达到最佳 x86 处理器最高 2.2 倍的速度,在测试的四种架构中表现最快。
  • ClickHouse:其标准二进制文件无需针对 Vera 专门调优,便在 176 个核心上实现接近线性的扩展,并登顶 ClickBench 硬件排行榜。
  • DuckLabs:TPC-H SF1000 性能中位数约为 Intel Xeon 6 基线的 1.5 倍。
  • Daytona:使用 Vera 在 10.8 秒内上线 1,000 个智能体沙箱,并在 2,000 个并发沙箱下实现每秒完成 12.7 个作业,而 x86 需要 88.4 秒。
  • Modal:相比同类 x86 硬件,每核心沙箱吞吐量最高提升 2 倍,且在高负载下增益更大。

了解更多关于 NVIDIA Vera CPU 的信息。

来源:NVIDIA Newsroom · blogs.nvidia.com