ZML 发布 LLMD 通用 LLM 推理服务器，支持 CUDA、ROCm、TPU、oneAPI 与 Metal

ZML/LLMD

通用 LLM 服务器。

一个自包含的推理服务器，支持 LLaMa、Gemma、Qwen 和 Mistral 模型，可运行于 NVIDIA CUDA、AMD ROCm、Google TPU、Intel oneAPI 和 Apple Metal。

cuda zmlai/llmd

docker run -p 8000:8000 \
  --shm-size=256GB --gpus=all \
  -e HF_TOKEN -it zmlai/llmd:cuda \
  --model=hf://Qwen/Qwen3-8B
                

5 加速器目标

10x 受支持模型上的 DFlash 加速

1.7GB CUDA 镜像大小

服务

现代推理原语。

连续批处理

高效服务并发请求，无需围绕模型 手工构建调度器。

分页注意力

以生产级服务器应有的内存行为 运行长上下文工作负载。

张量并行分片

将模型执行分片到多个设备，同时由 LLMD 处理通信。

前缀缓存

跨请求复用共享的提示前缀，以减少 重复工作。

工具调用

无需离开 LLMD 服务路径即可 暴露现代助手工作流。

Prometheus 指标

通过内置的 /metrics 端点 直接监控服务器。

DFlash 投机解码

原生 DFlash 支持随 Gemma 4 系列模型提供， Qwen 支持已在计划中。

试一试

运行服务器并将你的工具指向它。

NVIDIA

docker run -p 8000:8000 --shm-size=256GB --gpus=all -e HF_TOKEN -it zmlai/llmd:cuda \
  --model=hf://Qwen/Qwen3.6-27B

AMD

docker run -p 8000:8000 --device=/dev/kfd --device=/dev/dri -e HF_TOKEN -it zmlai/llmd:rocm \
  --model=hf://Qwen/Qwen3.6-27B

Intel

docker run -p 8000:8000 --device=/dev/dri -e HF_TOKEN -it zmlai/llmd:oneapi \
  --model=hf://Qwen/Qwen3.6-27B

Google TPU

docker run --net=host --privileged -e HF_TOKEN -it zmlai/llmd:tpu \
  --model=hf://Qwen/Qwen3.6-27B

Apple Metal

brew install zml/zml/llmd
llmd --model=hf://Qwen/Qwen3.6-27B

存储

在模型所在之处加载模型。

LLMD 使用 ZML 的 VFS 子系统从 Hugging Face、S3 和 GCS 加载，无需单独的下载步骤。在需要模型路径的 任何地方使用 hf://、s3:// 或 gs://。

平台

一个服务器，针对平台原生优化的产物。