vllm-metal 发布:在 Apple Silicon 上实现并发推理服务
vllm-metal 发布,把 vLLM 的 V1 调度器、分页 KV 缓存和 OpenAI 兼容服务端带到 Apple Silicon,由 MLX 与 Metal 负责执行。
推荐理由:vllm-metal 把 vLLM 的调度与分页 KV 缓存搬到 Apple Silicon,并给出与 llama.cpp、oMLX 的并发对比数据。
技术方向
模型推理能力的进展:思维链、推理模型、数学与逻辑基准的突破与争议。
82 条精选近 30 天 49 条共收录 4,924 条
vllm-metal 发布,把 vLLM 的 V1 调度器、分页 KV 缓存和 OpenAI 兼容服务端带到 Apple Silicon,由 MLX 与 Metal 负责执行。
推荐理由:vllm-metal 把 vLLM 的调度与分页 KV 缓存搬到 Apple Silicon,并给出与 llama.cpp、oMLX 的并发对比数据。
vLLM 团队基于 Speculators 训练库为 2.8T 参数的 Kimi K3 训练出 DSpark 草稿模型,在数学推理上把单流交互速度从约 110 提升到约 435 tok/s/user,并发负载下同等交互速度的输出吞吐最高提升约 3.5 倍。
推荐理由:vLLM 团队公开了在 GB300 NVL72 上训练 Kimi K3 DSpark 草稿模型的完整方案,含 Mooncake 跨节点隐藏态传输与部署命令。