vLLM 为 Kimi K3 构建 CuTe DSL 解码路径

vLLM 团队发布博客称，他们用智能体辅助开发，为 Kimi K3 构建了统一的 CuTe DSL 解码路径，并在 16 块 NVIDIA GB300 上以 DSpark 达到 842 tokens/s，比原生 vLLM 快 1.73 倍。该优化面向 NVIDIA Blackwell GPU 的 8 卡或 16 卡配置，解码批量从 1 到 64，长上下文可选启用解码上下文并行。 vLLM 称，K3 的初步硬件验证覆盖 GB300 的 TP8 与 TP16、批量不超过 64、不同草稿长度的投机解码，以及单个 NVLink 域内的解码上下文并行配置。vLLM 同时表示，这种隔离式验证不覆盖输入准备、采样和 KV 缓存管理，这些环节的开销可能未被计入。 RadarAI 报道称，英伟达通过一项上游 vLLM 优化，让 2.8 万亿参数量的 Kimi K3 在 GB300 NVL72 上达到 423 tok/s/user，性能提升 1.68 倍。该报道未说明这一结果与 vLLM 博客所述 842 tokens/s 的测试口径有何对应关系。

AI 根据报道生成 · 1 小时前更新

1. 10月18日 21:25 · 1 篇报道
   英伟达上游 vLLM 优化提升 Kimi K3 推理速度
   RadarAI：英伟达优化 Kimi K3 推理速度，GB300 NVL72 上提升 1.68 倍
2. 10月16日 08:00 · 1 篇报道
   vLLM 博客介绍 Kimi K3 在 GB300 上的解码优化
   vLLM Blog：vLLM 如何用智能体辅助优化 Kimi K3 解码性能