跳到正文
vLLM Blog· Inferact, Thinking Machines and NVIDIA·· 2 天前精选AI 评分62

vLLM 为 Thinking Machines 的 Inkling 2 Mini 提供 Day-0 支持

Inkling 2 Mini on vLLM: Day-0 Support for a Looped Model

AI 导读

Thinking Machines 发布 Inkling 2 Mini,vLLM 在 NVIDIA Blackwell、Hopper 和 DGX Spark 上提供 Day-0 支持。

推荐理由

原文拆解了循环层模型在推理框架中的缓存与算子融合实现,可了解这类结构如何落地服务。

正文 · AI 翻译

Thinking Machines 今日发布了 Inkling 2 Mini。vLLM 在 NVIDIA Blackwell、Hopper 和 DGX Spark 上于发布当天即支持该模型及其可变循环研究检查点 TML-d24-varloop-research。Inkling 2 Mini 是一个循环模型:其中间 12 层对每个 token 运行三次,权重共享,每次传递都有各自的 KV 缓存,并从前一次传递接收门控消息。它是一个多模态 MoE,总参数 26B、激活参数 3.5B,上下文最长 1M token,并带有原生 DSpark 推测器。

TL;DR

  • 循环层。第 6–17 层以共享权重运行三次传递。每次传递保留自己的 KV 缓存,并读取前一次传递的门控消息。
  • 总参数 26B、激活 3.5B、1M 上下文、原生 DSpark。一个由 Inkling 2 Small 组件构建的多模态 MoE,专家采用 NVFP4(最后 4 层为 MXFP8),并带有原生 DSpark 推测器。
  • 在 Blackwell、Hopper 和 DGX Spark 上提供发布当天优化的支持。vLLM 像管理其他缓存层一样管理每次传递的缓存,融合消息读取与控制器,并复用 Inkling 2 Small 的融合内核。
  • RL 支持。vLLM 通过 SkyRL 为强化学习提供 Inkling 2 Mini 服务。
  • 可变循环研究检查点。vLLM 还提供 TML-d24-varloop-research 服务,你可以在启动时选择传递次数,以及各次传递是否共享一个 KV 缓存。

我们提供了一个支持 Inkling 2 Mini 的 Docker 镜像,vllm/vllm-openai:inkling-2-mini。你可以这样启动模型服务:

docker run --gpus all --ipc=host -p 8000:8000 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  vllm/vllm-openai:inkling-2-mini thinkingmachines/Inkling-2-Mini \
  --reasoning-parser inkling --tool-call-parser inkling --enable-auto-tool-choice \
  --speculative-config '{"method":"dspark","num_speculative_tokens":7,"draft_sample_method":"probabilistic"}'

以及可变循环研究检查点,这里使用 2 次传递,且各次传递共享一个 KV 缓存:

docker run --gpus all --ipc=host -p 8000:8000 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  vllm/vllm-openai:inkling-2-mini thinkingmachines/TML-d24-varloop-research \
  --reasoning-parser inkling --tool-call-parser inkling --enable-auto-tool-choice \
  --hf-overrides '{"text_config": {"loop_num_passes": 2, "loop_share_cache": true}}'

循环

图 1。前奏与尾声各运行一次;循环核心运行三次传递,每次读取前一次传递的消息。

前奏、核心、尾声。24 层分为前奏(第 0–5 层)、循环核心(第 6–17 层)和尾声(第 18–23 层)。前奏和尾声各运行一次;核心以共享权重运行三次传递,尾声从最后一次传递继续。每六层为一组,是 Inkling 2 Small 中所用块注意力残差的一个块,因此核心的一次传递恰好产生两个块。

每次传递都从前奏的输出开始。普通的循环模型将第 p 次传递的输出送入第 p + 1 次传递。而在这里,三次传递都从同一输出开始,第 p + 1 次传递仅通过消息看到第 p 次传递。

消息在每个子层被读取。从第二次传递开始,每个核心子层输入(注意力的 query、key 和 value 输入以及 MLP 输入)都会获得自己的消息,通过注意力残差读取从前一次传递的两个块中读取,每层和每种输入类型都有学习到的 query。随后一个 rank-64 控制器按通道将消息合并到输入中:

h   = W_down · [rms(input), rms(message)]
out = (1 − tanh(W_forget · h)) · input + tanh(W_gain · h) · message

核心有 12 层、每层 4 个输入,因此之后的每次传递对每个 token 读取 48 条消息。由于 query、key 和 value 输入获得不同的消息,滑动窗口层在第一次传递中从同一个输入投影出这三者,在之后的传递中则采用三个独立输入。

每次传递保留自己的内存。每个核心层在每次传递中都有一个 KV 缓存和一个卷积状态缓存,因此第 p 次传递关注的是第 p 次传递为更早 token 计算出的 key 和 value。该模型有 24 层,但有 48 个 KV 缓存和 48 个卷积状态缓存。

来自循环内部的 DSpark 草稿。3 层 DSpark 草稿在四次层访问中读取目标模型的隐藏状态:一次在序曲中,一次在第二遍和第三遍中,以及最终输出。

这些层本身遵循 Inkling 2 Small。每一层都使用 Inkling 2 Small 的组件,隐藏大小为 2,304:块注意力残差、带门控和 sink 的相对偏置注意力(20 个滑动窗口层和 4 个全注意力层,24 个查询头和 8 个 KV 头)、短卷积,以及 NVFP4(层 0–19)和 MXFP8(层 20–23)中的 128 个路由专家(top-8)。图像经过一个 23 层 ViT 编码器,其配置与 Inkling 2 Small 的相同。

在 vLLM 中服务循环

将每遍缓存作为常规缓存层。vLLM 将核心层的每个额外遍注册为独立的注意力层,并拥有自己的 KV 和卷积状态缓存。KV 缓存管理器和前缀缓存将这些缓存视为与其他缓存相同,因此服务循环不需要新的缓存管理逻辑。

融合消息读取和控制器。直接实现会在后续遍中为每个核心层启动 4 个消息读取和 4 个控制器,每个包含多个内核。vLLM 在一个注意力残差内核中读取一层的所有四条消息,并堆叠四个控制器的权重,因此它们的下投影和增益/遗忘投影作为批处理 GEMM 运行。一个 Triton 内核计算控制器的 RMS 归一化,另一个将门控合并与消息馈入的子层的 RMSNorm 融合。合并在 FP32 中运行,不使用 FMA 收缩,与参考实现匹配。

每个子层周围的融合内核。对于 Inkling 2 Small,vLLM 将每个子层的全归约、短卷积、残差更新、注意力残差混合和 RMSNorm 融合到一个内核中。vLLM 将这些内核从隐藏大小 4,608 推广到 2,304,并添加了一种模式,在 RMSNorm 之前返回 FP32 混合,以便后续遍可以将其消息合并到其中。Inkling 2 Mini 在每个张量并行大小下都使用它们,包括 TP1;在 TP > 1 时,小批量还会通过 NVLink 多播融合全归约。

可变循环研究检查点

Thinking Machines 还发布了 TML-d24-varloop-research,这是一个训练为以可变遍数运行的研究检查点。vLLM 通过 --hf-overrides 暴露其两个选项:

docker run --gpus all --ipc=host -p 8000:8000 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  vllm/vllm-openai:inkling-2-mini thinkingmachines/TML-d24-varloop-research \
  --reasoning-parser inkling --tool-call-parser inkling --enable-auto-tool-choice \
  --hf-overrides '{"text_config": {"loop_num_passes": 2, "loop_share_cache": true}}'
  • loop_num_passes 设置遍数(至少 1;默认为检查点的 3)。遍数越少越快;遍数越多质量越高。DSpark 需要默认值,因为草稿读取固定的层访问。
  • loop_share_cache 使核心层的所有遍共享一个 KV 缓存:每一遍覆盖其 token 的键和值,因此后续 token 读取最后一遍的。卷积状态保持每遍独立。

这两个选项在固定循环检查点(如 Inkling 2 Mini)上被拒绝。在一个 GB200 上(TP1,4K 上下文,仅前向传递):

遍数解码步骤,批次 1解码步骤,批次 32KV 缓存容量
11.51 ms3.81 ms352K tokens
22.67 ms5.92 ms233K tokens
33.85 ms8.11 ms175K tokens
3,共享 KV 缓存3.86 ms8.10 ms194K tokens

共享 KV 缓存释放的内存少于减少一遍,因为每遍的卷积状态缓存仍然存在。

准确率评估

vLLM 保持参考实现的数值特性:每一步使用相同的数据类型,采用相同的 NVFP4 和 MXFP8 激活量化,以及 FP32 消息合并,仅归约顺序不同。在固定提示词下,vLLM 在 48 次层访问中每次的隐藏状态与参考实现的差异,大致相当于参考实现自身的 FlashAttention-4 与 PyTorch 注意力路径彼此之间的差异;而在给定相同输入时,MoE 输出逐位一致。

在端到端测试中,我们借助 inkling-verify 在最高 100 万 token 的 needle-in-a-haystack、MMMU-Pro 和 HLE 上测试了准确率,并在启用 DSpark 的情况下测试了 GSM8K。

致谢

我们感谢 Thinking Machines 和 NVIDIA 团队在 vLLM 中集成并优化 Inkling 2 Mini 过程中的紧密合作。

来源:vLLM Blog · vllm.ai