单 GPU 不够用：用 vLLM 在两台 NVIDIA DGX Station 上部署 GLM-5.3

When One GPU Isn’t Enough: Serving GLM-5.3 Across Two NVIDIA DGX Stations with vLLM

AI 导读

NVIDIA 展示通过 ConnectX-8 RDMA 连接两台 DGX Station，用 vLLM 以张量并行把 GLM-5.3 的权重与计算拆分到两块 GPU 上，通过单一端点提供推理服务。所用模型为 NVIDIA GLM-5.3 NVFP4，是 Z.ai 混合专家模型的量化版本。

正文 · AI 翻译

在本地运行前沿规模的模型意味着要将其全部权重保留在 GPU 内存中；最大的模型已无法容纳于单台机器。两台 NVIDIA DGX Station……

在本地运行前沿规模的模型意味着要将其全部权重保留在 GPU 内存中；最大的模型已无法容纳于单台机器。两台通过 ConnectX-8 RDMA 连接的 NVIDIA DGX Station 通过单一端点服务同一个模型，并利用张量并行将模型权重和计算拆分到两块 GPU 上。NVIDIA GLM-5.3 NVFP4 模型是 Z.ai 混合……的量化版本

来源

来源：NVIDIA Technical Blog · developer.nvidia.com