跳到正文

技术方向

推理能力 最新动态

模型推理能力的进展:思维链、推理模型、数学与逻辑基准的突破与争议。

41 条精选近 30 天 35 条共收录 3,390 条

更新

精选归档 · 第 3 页

9月15日周二第 41–41 条
  1. vLLM Blog62

    vLLM 团队如何用 GB300 NVL72 训练 Kimi K3 的 DSpark 草稿模型

    vLLM 团队基于 Speculators 训练库为 2.8T 参数的 Kimi K3 训练出 DSpark 草稿模型,在数学推理上把单流交互速度从约 110 提升到约 435 tok/s/user,并发负载下同等交互速度的输出吞吐最高提升约 3.5 倍。

    推荐理由:vLLM 团队公开了在 GB300 NVL72 上训练 Kimi K3 DSpark 草稿模型的完整方案,含 Mooncake 跨节点隐藏态传输与部署命令。