跳到正文
NVIDIA Newsroom· Brian Sparks·· 1 天前AI 评分40

Lambda 用 NVIDIA Photonics 共封装光学交换机提升 AI 工厂韧性与能效

Lambda Boosts AI Factory Resiliency and Efficiency With NVIDIA Photonics

AI 导读

Lambda 采用 NVIDIA Photonics 共封装光学(CPO)交换机,连接超过 10000 块 GPU 的 NVIDIA GB300 NVL72 机架,实现更低功耗、更高韧性和更长平均无中断时间。

正文 · AI 翻译

要训练一个 AI 模型,数千块 GPU 必须协同工作,这需要一张快速、高效且具备韧性的网络。

Lambda 正借助 NVIDIA Photonics 共封装光学(CPO)交换机来解决网络这一环节的难题。这家云服务提供商使用这些交换机连接 NVIDIA GB300 NVL72 机架,涉及超过 10,000 块 GPU,为大规模 AI 工厂带来更低的功耗、更高的韧性和更长的平均无中断时间(MTBI)。

“网络必须跟上日益庞大的 AI 集群的需求,”Lambda 云服务总裁 Dave Ward 表示。“将共封装光学引入这一规模的部署,是构建支撑下一代 AI 所需基础设施的重要一步。” 

在该公司使用这些交换机进行的测试中,网络延迟——即数据传输所需的时间——在机架规模下降低了约 4%,在 pod 规模下最多降低约 10%。在机架、可扩展单元和 pod 配置中,该网络保持着与传统可插拔光学器件相同的吞吐量。

大规模实现高能效与高韧性

提升能效和韧性之所以重要,是因为网络处于 AI 工厂生产力的核心位置。 

在大型训练任务中,一条中断的链路就可能让数千块 GPU 停滞。在智能体推理中,一次网络中断可能对众多智能体产生级联延迟效应。每一次中断都意味着时间损失,而花在网络上的每一瓦功耗,都是无法用于计算的功耗。 

NVIDIA Photonics 同时解决了能效和韧性两方面的问题。通过在交换机封装上以共封装光学引擎取代可插拔光模块,它实现了比传统可插拔光学器件最高 5 倍的能效和最高 15 倍的可靠性。它还使用了少 4 倍的激光器,这意味着可能发生故障的组件更少。

更凉爽的光学器件与可更换光源提升韧性

Lambda 的部署使用了 NVIDIA Photonics 交换机,每台拥有 144 个以 800Gb/s 运行的端口。液冷将热量从交换机芯片和光学引擎带走。 

该公司报告光学器件温度中位数为 36°C,而传统可插拔光学器件为 51°C,其测试还发现信号完整性更稳定。

NVIDIA Photonics 还将电光转换进一步靠近交换机芯片。每台交换机拥有 18 个可拆卸的外部光源,为光学引擎提供光。光学引擎与芯片位于同一封装上,将电信号转换为光,通过光纤在集群各部分之间传输数据。 

技术人员可以在现场更换光源模块,而传统可插拔光学器件在激光器故障时需要更换整个模块。

共封装将电气路径从英寸缩短到毫米,从而减少信号损耗。它还消除了对重定时器芯片的需求,既降低了功耗,也减少了信号路径中的部件数量。

探索 NVIDIA Photonics 并阅读 Lambda 的 部署公告。

来源:NVIDIA Newsroom · blogs.nvidia.com