vLLM 用 FlyDSL MonoKernel 降低 AMD GPU 上的智能体解码延迟
Keeping Agents Fast: High-Interactivity Decode with FlyDSL MonoKernels in vLLM
vLLM 博客介绍基于 AMD FlyDSL 编写的 MonoKernel 解码路径,把解码层内的多个算子合并为少量持久化 kernel 启动,减少 kernel 启动与收尾开销。
vLLM 与 AMD 作者拆解 MonoKernel 的调度设计与各模型实测数据,可了解低并发解码延迟的优化路径。
引言
交互式 LLM 应用依赖低解码延迟。编码智能体必须先完成当前动作的生成,才能调用下一个工具,因此解码位于任务的关键路径上。在低并发下服务这类工作负载时,优先考虑的是单用户响应速度,而非总体吞吐量。
一个解码步骤会执行一串 GPU 内核,用于投影、注意力和专家计算等操作。在小批量下,其中许多内核只做很少的工作,但每个内核仍会产生 GPU 侧的调度、启动和完成开销。依赖内核必须等到输入就绪才能继续,因此整个内核的边界也限制了重叠。在长链中反复出现时,这些开销可能占解码延迟的很大一部分,而少量并行工作又让 GPU 容量闲置。HIP graphs 减少了 CPU 启动开销,但并未消除这些 GPU 侧开销。图 1 展示了重复出现的阶段;宽度和间隙仅为示意,并非实测时长或开销分解。
本文探讨用 FlyDSL 编写的 MonoKernels 如何在 AMD Instinct GPU 上为交互式 LLM 服务降低 vLLM 中的解码延迟。我们解释该方法及其与 vLLM 的集成,然后考察性能和准确性。
MonoKernels 如何降低解码延迟
MonoKernel 将多个相互依赖的算子阶段合并到单次 GPU 内核启动中,使用显式设计的调度,而不是在每个算子边界单独启动。这里的 mono 指单一内核执行边界,而不是把整个模型放进一个内核。一个模型的 mono 解码路径可以包含多个 MonoKernel,解码器层也不必恰好对应一次启动。
目标不仅是让单个算子更快,还要缩短它们之间的等待。受 TileRT 启发,这里讨论的实现使用持久化启动:一个固定的 GPU 线程块网格依次处理多个阶段。线程块是一组一起执行的 GPU 线程;一旦所需依赖满足,它就可以继续后续工作。
图 2 中的两条路径都可以在 HIP graphs 下重放。区别在于多个独立内核与一次启动内由作者设计的持久化调度。一些整个内核的边界变成了计算各部分之间更细粒度的交接。
- 跨阶段复用线程块。完成当前工作后,线程块可以承接下一阶段已就绪的工作,而无需单独的内核启动。这减少了重复的 GPU 内核启动和排空。
- 在较早的工作进行计算时,预读后续所需的权重。例如,可以在较早的计算期间预取输出投影或专家 up/gate 权重。在调度和资源允许的情况下,这会将部分 HBM 流量与有用的工作重叠,而不是将其全部暴露在关键路径上。它并不能消除权重读取,也不能保证所有内存延迟都被隐藏。
- 以消费者所需的粒度交接数据。tile 是张量的一部分。带标签的邮箱保存中间结果以及表示就绪状态的标签。下游阶段或对等 GPU 上的归约操作可以在所需数据就绪后继续,而不必等待生产阶段中无关的工作。消费者仍需等待其自身计算所需的全部输入。
选择模型特定的内核边界
一个关键的设计挑战是决定MonoKernel 从哪里开始、到哪里结束:哪些操作共享一次启动,哪些仍留在单独的内核中。融合更多阶段并不自动更好。边界必须契合模型的数据依赖、通信模式和 GPU 资源限制。因此,MonoKernel 边界是模型特定的,而不是通用的“一层一内核”模板。
例如,最初的 DeepSeek-V4.1-Flash 实现(#60397)将标准解码器层路径划分为 K1 和 K2。图 3 展示了每个边界内的操作,而非它们的执行时序。
K1 准备注意力输入并更新 KV 缓存。K2 完成注意力并继续执行前馈工作,两次 TP all-reduce 都在内核内使用对称对等内存。这些归约按 rank 顺序以 fp32 求和,然后转换为 bf16,并与周围工作重叠。将它们放在 K2 内并不意味着通信或跨 rank 同步消失。
此示例的算子级映射
| 启动 | 阶段 |
|---|---|
| K1 | 注意力前的 mHC(超连接)混合 → 注意力前端:wqkv、q/kv norms、KV 缓存插入、wq_b |
| K2 | 注意力后端(拆分注意力、合并、wo_a、wo_b)→ TP all-reduce → FFN 前的 mHC 混合 → MoE(router、top-6、共享专家、MXFP4 专家)→ TP all-reduce |
更窄的边界:MiniMax-M3。最初的实现(#62712)融合了 FFN 部分,包括其周围的通信,而注意力仍留在原有路径上。与 DeepSeek 示例相比,它只选择层的一部分进行单体内核执行。这些示例说明了不同的边界选择,而不是一个可原样迁移到每个模型的固定配方。
为什么 FlyDSL 契合这种执行模型
边界与调度由内核作者设计,而不是通过选择某种语言自动创建。FlyDSL 是 AMD 面向高性能 ROCm 内核的 Python DSL 和 MLIR 编译器,它提供了表达和编译该设计所需的控制手段。作者负责设计,FlyDSL 负责编译,vLLM 负责选择并集成执行路径。图 4 展示了图 2 中两个线程块之间的交接过程,以及每一步背后的 FlyDSL 原语。
块 i 存储其结果,等待存储落地(s_waitcnt 和一个屏障),然后通过邮箱写入为每个 token 置起一个标志。块 j 更早发出了阶段 B 的权重加载,因此权重在其轮询所需标志时到达;标志一置起它就开始阶段 B,中间没有内核边界。FlyDSL 按所写顺序编译,不会自行融合或重排阶段。vLLM 中的 DeepSeek-V4.1-Flash attention front 遵循这一模式。模型、GPU 架构和所支持的步宽仍决定哪些变体可以运行。下一节说明 vLLM 如何集成它们,而不替换服务引擎的其余部分。
实现细节:布局、编译与支持的配置
控制数据移动与同步。为了重叠阶段,实现必须决定工作如何在块、波和线程之间划分,加载何时发出,以及结果何时可用。FlyDSL 让作者能够表达这些选择,必要时细化到特定的缓冲区和矩阵指令。收益来自由此产生的调度,而非 Python 语法本身。
为每个阶段匹配布局和低精度计算。投影、注意力和专家并不都使用相同的数据布局。FlyDSL 让作者选择每个阶段如何划分和访问其张量,并将低精度计算映射到 GPU 的矩阵指令。在 MI355X 上,mono 实现可以原地读取 vLLM 已加载的权重,包括 AITER 的混洗 MXFP4 专家布局,而无需保留第二份副本。这些控制也支持移植,但不会使其自动化:CDNA3 需要适合其较小共享内存(LDS)的 tile 尺寸,并且矩阵指令路径与 CDNA4 不同。
针对支持的配置进行特化并编译。使用 @flyc.kernel 和 @flyc.jit 编写的内核在首次使用时编译并缓存。该实现针对其模型、TP 大小和所支持的步宽进行特化——步宽即前向步骤中处理的 token 行数,包括推测位置和图填充。vLLM 在预热期间构建所需的宽度变体,并在 HIP 图下重放它们。这是有针对性的特化,并不保证一个调度能服务任意模型或批大小。
内核源码保留在模型的 vLLM 目录中,flydsl wheel 作为其新的运行时依赖。确定性编译还支持在审查期间进行 ISA 和资源使用比较。
vLLM 中的专用解码
对 vLLM 而言,MonoKernel 路径是一种专用解码:在 vLLM 常规接口背后,针对特定模型和硬件实现的解码前向计算。调度器、KV 缓存管理器、采样、投机解码和 HIP 图均保持不变;只有解码器层的运行方式不同,并且只在 kernel 能够服务的步骤上生效。每个合并的 mono PR 都遵循 RFC #60904 中约定的规则:
- 需显式启用,不支持时拒绝。该路径默认关闭;
--monokernel可将其开启(等同于--additional-config '{"decode_backend": "latency_specialized"}',Kimi-K3 读取的就是后者)。若部署环境无法被 kernel 支持,启动时会失败并列出所有原因。 - 模型拥有代码。Kernel、运行时和测试都位于
vllm/models/<model>/amd/下。Kimi-K3 在其现有模型文件中新增了 26 行,未对 vLLM 核心做任何改动。 - 逐层、逐步选择 mono 或原生。每一步由一个
plan()决定。Prefill、混合批次以及宽度超出 kernel 能力的步骤都运行在原生层上。Mono 层使用 vLLM 的权重和 KV 缓存,并返回相同的张量,因此两者可以在同一步内混用。 - 兼容 HIP 图与投机解码。捕获尺寸不变,投机验证步骤也可以运行在 mono 路径上。
结果
图 5 中汇总的合并 PR 评测由各 PR 作者在 MI355X 或 MI325X 上测得。单独的 GLM-5.2 小节报告的是在 MI350X 上的 RFC 测量结果;这些结果未包含在图 5 中。AgentX 是 InferenceX 基于多轮、长上下文智能体会话构建的基准测试。每个 AgentX 数据点是一次 3600 秒的运行。交互性为 1 / 令牌间延迟(除非另有说明,否则为 P90),单位为 tokens/s/user(越高越好)。图 5a 展示了每个合并 PR 在并发度为 1 时相对同节点原生基线的加速比;DeepSeek-V4-Pro 因对比使用历史 InferenceX 运行结果而被排除。图 5b 跟踪了三个针对同节点原生基线扫描并发度的 PR;它们在 5a 中的柱形与各自折线颜色相同。每个值都是该 PR 所报告指标的比值,方向统一为越高越好:交互性为 mono / 原生,TPOT 和解码步骤时间为原生 / mono。下文各模型小节给出绝对数值并链接到相应 PR。

DeepSeek-V4.1-Flash
#60397 将 30 个标准层作为 K1 + K2 运行;在同一 TP2 MI355X 节点上,开启 mono 后,并发度为 1 时的 P90 交互性从 318.1 提升至 429.1 tok/s/user。在整个扫描范围内,总吞吐量提升 1.04–1.16×,P90 TTFT 变化最多 0.1 秒,因为 prefill 不使用 mono 路径。同一 PR 为其余 10 层实现的 FFN 启动又带来 1.02–1.19× 的提升;在 TP4 下,并发度为 1 / 2 / 4 / 8 时的 P90 交互性分别是 InferenceX 已发布的相同配方运行结果的 1.66× / 1.56× / 1.64× / 1.38×。#61082 随后将全部 40 层作为 K1 + K2 运行,在 TP4、并发度为 1 时达到 562.6 tok/s/user(比此前的 mono 路径提升 3.9%)。
MI300X/MI325X 移植(#60731)将标准解码器层从 32 个内核、320 µs 缩减到 2 个内核、115 µs。在 MI325X 上以 TP4 运行 AgentX 时,并发 1 的 P90 交互性从 182.25 tok/s/user 提升到 411.26 tok/s/user,每 GPU 总吞吐量提升 1.63×;在并发 2 / 4 / 8 时,P90 交互性分别是 InferenceX 公布的 MI325X 数据的 2.41× / 2.22× / 1.99×。
在 MI355X 上的 TP8(#64101)中,每个 rank 流式加载的权重数量是 TP4 时的一半,而 K1/K2 链长度保持不变,因此单核解码在并发 1 时仍然有收益。在一台仅切换 --monokernel 的 TP8 服务器上,使用 DSpark 推测解码的解码步骤从 8.59 ms 降至 5.36 ms(392 → 580 tok/s)。这些步骤时间测量使用 3.87 的合成接受长度,以将步骤时间与接受长度分离;此 TP8 配置的准确率仍在评估中(见 PR)。DSpark 草稿模型运行在相同内核上(#62131):其三层每步耗时约 227 µs,而非约 640 µs,接受长度不变。
DeepSeek-V4-Pro
更大的 Pro 模型拥有自己的一份 mono 包副本,针对其维度进行了专门化(#61482,MI355X 上的 TP8)。AgentX P50 交互性在并发 1 / 4 / 8 时分别为 +28.7% / +26.5% / +11.9%,但基线是 InferenceX 在较旧软件栈上的历史运行结果,因此这些数字既包含内核变化,也包含软件栈变化。
MiniMax-M3
MiniMax-M3 MXFP4 PR(#62712)表明部分融合已经带来收益:仅第 3–59 层的 FFN 部分(all-reduce、RMSNorm、router、共享和路由专家、最终 all-reduce)作为一次启动运行,注意力仍走原有路径。在 MI355X 上以 TP4 运行随机 1k/1k 提示时,并发 1 的 TPOT 从 5.12 ms 降至 4.27 ms。M3 和 M3.1 的全层 mono 解码(同时融合注意力和稀疏索引器)正在评审中(#59705、#65638)。
Kimi-K3
Kimi-K3 将 KDA 线性注意力层与 MLA 层混合。#60683 将 KDA 层作为 K1 + K2 运行,并将 MLA 层的输出投影和 MoE 作为 K2 运行;#61435 增加了 MLA 序言和尾声内核,并在没有解码上下文并行(DCP1)的情况下,将 FlyDSL MLA 解码注意力阶段融合进 K2,因此一个 MLA 层需要两次启动。在 MI355X 上以 TP8、并发 1、七个推测 token 运行时,8k 输入的 P50 TPOT 从 5.47 ms(原有)降至 4.35 ms(#60683),再降至 3.44 ms(+ #61435 在 DCP1 下,1.59×);64k 输入时从 5.67 ms 降至 3.58 ms(1.58×)。原有和 #60683 的数字是 #60683 公布的结果;#61435 的数字是两个种子的平均值。
Muse Spark
Muse Spark Open MXFP4(#63440)在 8× MI355X 上以 TP8 和专家并行,将每个 DSpark 验证步骤的解码器层 1–60 作为持久启动运行,测量基于 AgentX 的智能体编码轨迹(输入长度中位数 159k token)。基线是配方原有 TP8 配置在并发 1 下的结果、原有 TEP8 配置(TP8 加专家并行,与 mono 运行相同)在并发 8 下的结果,以及两者之间较快的那个。并发 1 的交互性从 263.1 tok/s/user 提升到 413.8 tok/s/user,每 GPU 总吞吐量在整个扫描范围内提升 21–29%。
GLM-5.2:RFC 测量
RFC #60904 在 8× MI350X 上以 TP8 测量了 GLM-5.2 MonoKernel(现处于评审中,#60889),模型为 GLM-5.2-MXFP4。vLLM 中图模式下的解码步骤从约 2,459 个内核降至约 210 个(75 次 MonoKernel 启动,加上稠密层、输入准备和 head),使用默认 BF16 attention 时,batch 1 下每 token 时间从 13.70 ms 降至 5.92 ms(2.31×;使用 FP8 attention 时为 2.85×),batch 8 下从 17.33 ms 降至 11.44 ms(1.51×)。在 AgentX 上使用 FP8 attention 时,1 个用户下 token 间时间从 15.0 ms 降至 6.5 ms(2.31×),8 个用户下从 20.4 ms 降至 12.7 ms(1.61×)。
精度
融合内核以与标准路径不同的顺序进行量化、累加和归约,因此必须针对每个模型和配置评估精度,并在同一服务器上分别开启和关闭 mono 进行对比。对于下列配置,差异在噪声范围内:
- DeepSeek-V4.1-Flash,TP2(RFC #59665 协议,按问题配对):GPQA-Diamond 85.3 → 85.1(Δ −0.2 ± 0.6),AIME25 99.4 → 98.3(Δ −1.0 ± 0.7),RULER NIAH 在每个单元格中均为 40/40。
- DeepSeek-V4.1-Flash,MI325X:GSM8K 92.5 → 92.7(p = 0.49)。
- MiniMax-M3:GSM8K 89.7 → 90.5(p = 0.37)。
- Kimi-K3:GSM8K 96.0 → 96.3,GPQA-Diamond 92.4 → 93.9;开启 mono 后,RULER NIAH 在最长 256K 的每个长度上得分均为 1.0。
- Muse Spark(RFC #59665 协议):GPQA-Diamond 88.5 → 88.7,AIME25 98.3 → 98.6。
每个配置的完整结果见链接的 PR。
在端到端评估之下,mono 层还针对 vLLM 自身的算子链和精确的 fp32 参考进行了测试,例如 DeepSeek-V4.1-Flash 的每 token 余弦相似度 ≥ 0.999,以及在 300 次 HIP 图重放中结果逐位一致。
试用
自 2026 年 10 月起,mono decode 已合并到 vLLM main 中,支持 MI355X 上的 DeepSeek-V4.1-Flash、DeepSeek-V4-Pro、MiniMax-M3、Kimi-K3 和 Muse Spark,DeepSeek-V4.1-Flash 还支持 MI325X。GLM-5.x、Qwen3.8 和 MiniMax-M3.1 的移植正在评审中。
Mono decode 为可选启用,因此请在受支持的 recipe 中添加 --monokernel。例如,PR 中在 MI355X 上使用的 DeepSeek-V4.1-Flash 配置:
VLLM_ROCM_USE_AITER=1 \
vllm serve deepseek-ai/DeepSeek-V4.1-Flash \
--tensor-parallel-size 4 \
--tokenizer-mode deepseek_v41 --trust-remote-code --language-model-only \
--max-num-seqs 8 --block-size 128 \
--attention_config.indexer_kv_dtype=mxfp4 \
--moe-backend aiter \
--speculative-config '{"method":"dspark","num_speculative_tokens":5}' \
--monokernel如果部署不受支持,vLLM 将拒绝启动并列出所有原因。每个模型支持的配置记录在其包内的 vllm/models/<model>/amd/ 下。
范围与限制
Mono decode 是一种延迟优化,有三项限制:
- 低并发下效果最佳。并发为 1 时收益最大,并发更高时收益较小(图 5b)。对于 DeepSeek-V4.1-Flash,TP8 mono decode 是并发为 1 的配置:在并发为 4 时,一台 TP8 服务器的吞吐量比两个 TP4 副本低 26%(#64101)。
- 步骤宽度有限。推测 token 和图填充计入该限制:MI355X 上 DeepSeek-V4.1-Flash 最多 48 行(MI325X 上为 42 行,因其 LDS 较少),MiniMax-M3 和 Kimi-K3 为 16 行。更宽的步骤走标准路径。
- MI300X/MI325X 上的权重副本。在没有缩放 FP4/FP8 MFMA 的情况下,内核保留自己的权重副本:TP4 下 DeepSeek-V4.1-Flash 每 rank 为 170 GiB,而非 99 GiB。这在 MI325X 上仍能留下较大的 KV cache,但在 MI300X 上空间很小。
总结
小批量解码的大部分时间都花在内核之间的间隙:启动内核、等待整个阶段完成,以及在 GPU 空闲时流式传输权重。FlyDSL MonoKernels 通过将每个解码器层(或其一部分)作为少量持久化启动来运行,从而消除了其中大部分时间——这些启动在各阶段之间复用线程块、预取权重、通过带标记的邮箱向前传递就绪数据,并在内核内部跨 GPU 进行归约。FlyDSL 让这一切变得可行:作者可以控制每个阶段的布局、数据移动和同步,精细到单条指令,并且每个内核都会针对其模型、TP 大小和步长宽度进行专门化并即时编译。
在 vLLM 中,mono decode 现已为五个模型合并,并遵循一个通用的、可选启用的标准。它将并发数为 1 时的交互性或每输出 token 时间提升了 1.20 倍到 2.26 倍,并且每个 PR 都会报告开启和关闭 mono 时的准确率。我们邀请 vLLM 社区在 AMD Instinct GPU 上试用 --monokernel,审阅正在进行的移植,并使用编写指南(审阅中)将 mono decode 引入新模型。
参考文献
- FlyDSL 语言与编译器
- RFC #60904:
vllm/models中专用的(MonoKernel)解码标准 - DeepSeek-V4.1-Flash mono decode:#60397、#61082、#60731、#62131、#64101
- DeepSeek-V4-Pro mono decode:#61482
- MiniMax-M3 mono decode:#62712
- Kimi-K3 专用解码:#60683、#61435
- Muse Spark mono decode:#63440
- 共享的专用解码抽象:#61311;MonoKernel 编写指南(审阅中):#62256
- TileRT
- InferenceX AgentX 指标定义
免责声明
本博客中的性能和准确率数据取自所链接的 vLLM pull request 和 RFC #60904。这些数据由作者在 AMD Instinct™ MI355X(gfx950,288 GB HBM3E)、AMD Instinct™ MI350X(gfx950,288 GB HBM3E)和 AMD Instinct™ MI325X(gfx942,256 GB HBM3E)系统上测得,所用模型、软件版本、服务标志和基准设置均在各 PR 或 RFC 中描述。AgentX 结果使用 InferenceX 的基准测试客户端,每个数据点运行一次,每次 3,600 秒。如果某个 PR 是与已发布的 InferenceX 运行结果而非同节点基线进行比较,本博客会予以说明。
第三方内容由拥有该内容的第三方直接授权给您,而非由 AMD 授权给您。所有链接的第三方内容均按“原样”提供,不附带任何形式的保证。此类第三方内容的使用完全由您自行决定,在任何情况下 AMD 均不对任何第三方内容向您承担责任。您承担所有风险,并对因使用第三方内容而可能产生的任何损害承担全部责任。
所示结果来自特定测试配置,可能因工作负载、模型和系统配置而异。
本文档中提供的信息仅供参考,可能包含技术不准确之处、遗漏和排版错误。本文所含信息可能会发生变化,并可能因多种原因而变得不准确,包括但不限于产品和路线图变更、组件和主板版本变更、新模型和/或产品发布、不同制造商之间的产品差异、软件变更、BIOS 刷新、固件升级等。任何计算机系统都存在无法完全预防或缓解的安全漏洞风险。AMD 无义务更新或以其他方式更正或修订此信息。 但是,AMD 保留修订此信息并不时更改其内容的权利,且无义务通知任何人此类修订或更改。 此信息按“原样”提供。AMD 不对本文内容作出任何陈述或保证,也不对本文信息中可能出现的任何不准确、错误或遗漏承担任何责任。AMD 明确否认任何关于不侵权、适销性或特定用途适用性的默示保证。在任何情况下,AMD 均不对任何人因使用本文所含任何信息而导致的任何依赖、直接、间接、特殊或其他后果性损害承担责任,即使 AMD 已明确被告知此类损害的可能性。 AMD、AMD Arrow 标志、AMD Instinct、AMD EPYC、AMD ROCm 及其组合是 Advanced Micro Devices, Inc. 的商标。本出版物中使用的其他产品名称仅用于标识目的,可能是其各自公司的商标。Linux 是 Linus Torvalds 在美国和其他国家的注册商标。PyTorch、PyTorch 标志、vLLM 及相关标记是 The Linux Foundation 的商标。Ubuntu 是 Canonical Ltd. 的注册商标。本出版物中引用的所有其他商标和产品名称,包括 MiniMax、DeepSeek、Kimi、Muse Spark、InferenceX 和 Hugging Face,均为其各自所有者的财产。 © 2026 Advanced Micro Devices, Inc. 保留所有权利。
来源:vLLM Blog · vllm.ai