vLLM 团队如何用 GB300 NVL72 训练 Kimi K3 的 DSpark 草稿模型
vLLM 团队基于 Speculators 训练库为 2.8T 参数的 Kimi K3 训练出 DSpark 草稿模型,在数学推理上把单流交互速度从约 110 提升到约 435 tok/s/user,并发负载下同等交互速度的输出吞吐最高提升约 3.5 倍。
推荐理由:vLLM 团队公开了在 GB300 NVL72 上训练 Kimi K3 DSpark 草稿模型的完整方案,含 Mooncake 跨节点隐藏态传输与部署命令。