跳到正文
vLLM Blog· Felix Li, Lingpeng Jin, Hattie Wu, Carlus Huang, Fangzhou Ai, Zaidy Ali, Amanzhol Salykov, Hyukjoon Lee, Ziming Huang, Jun Chen, Yifeng Huang, Bin Ding, Xiaobing Zhang, Yi Gan, Vinayak Gokhale, Hongxia Yang, Doug Lehr, Richard Li, Andy Luo, Peng Sun, and Emad Barsoum·· 14 小时前精选AI 评分60

vLLM 用 FlyDSL MonoKernel 降低 AMD GPU 上的智能体解码延迟

Keeping Agents Fast: High-Interactivity Decode with FlyDSL MonoKernels in vLLM

AI 导读

vLLM 博客介绍基于 AMD FlyDSL 编写的 MonoKernel 解码路径,把解码层内的多个算子合并为少量持久化 kernel 启动,减少 kernel 启动与收尾开销。

推荐理由

vLLM 与 AMD 作者拆解 MonoKernel 的调度设计与各模型实测数据,可了解低并发解码延迟的优化路径。

正文 · AI 翻译

引言

交互式 LLM 应用依赖低解码延迟。编码智能体必须先完成当前动作的生成,才能调用下一个工具,因此解码位于任务的关键路径上。在低并发下服务这类工作负载时,优先考虑的是单用户响应速度,而非总体吞吐量。

一个解码步骤会执行一串 GPU 内核,用于投影、注意力和专家计算等操作。在小批量下,其中许多内核只做很少的工作,但每个内核仍会产生 GPU 侧的调度、启动和完成开销。依赖内核必须等到输入就绪才能继续,因此整个内核的边界也限制了重叠。在长链中反复出现时,这些开销可能占解码延迟的很大一部分,而少量并行工作又让 GPU 容量闲置。HIP graphs 减少了 CPU 启动开销,但并未消除这些 GPU 侧开销。图 1 展示了重复出现的阶段;宽度和间隙仅为示意,并非实测时长或开销分解。

A GPU-side chain of Kernel A, B and C, each with Start, Work and Drain stages.
GPU 侧的内核 A、B、C 链,每个内核都有启动、工作和排空阶段。
图 1. 短内核周围重复出现的启动和完成开销。

本文探讨用 FlyDSL 编写的 MonoKernels 如何在 AMD Instinct GPU 上为交互式 LLM 服务降低 vLLM 中的解码延迟。我们解释该方法及其与 vLLM 的集成,然后考察性能和准确性。

MonoKernels 如何降低解码延迟

MonoKernel 将多个相互依赖的算子阶段合并到单次 GPU 内核启动中,使用显式设计的调度,而不是在每个算子边界单独启动。这里的 mono 指单一内核执行边界,而不是把整个模型放进一个内核。一个模型的 mono 解码路径可以包含多个 MonoKernel,解码器层也不必恰好对应一次启动。

目标不仅是让单个算子更快,还要缩短它们之间的等待。受 TileRT 启发,这里讨论的实现使用持久化启动:一个固定的 GPU 线程块网格依次处理多个阶段。线程块是一组一起执行的 GPU 线程;一旦所需依赖满足,它就可以继续后续工作。

图 2 中的两条路径都可以在 HIP graphs 下重放。区别在于多个独立内核与一次启动内由作者设计的持久化调度。一些整个内核的边界变成了计算各部分之间更细粒度的交接。

Conceptual execution comparison: separate graph-replayed kernels versus a persistent schedule with weight prefetch and data-ready handoffs.
概念性执行对比:分别经 graph 重放的内核与带权重预取和数据就绪交接的持久化调度。
图 2. 减少解码层内的等待。仅为示意:块宽度和间距并非实测时长或加速估计。内核边界并不代表每个算子都有新的 CPU 启动。
  • 跨阶段复用线程块。完成当前工作后,线程块可以承接下一阶段已就绪的工作,而无需单独的内核启动。这减少了重复的 GPU 内核启动和排空。
  • 在较早的工作进行计算时,预读后续所需的权重。例如,可以在较早的计算期间预取输出投影或专家 up/gate 权重。在调度和资源允许的情况下,这会将部分 HBM 流量与有用的工作重叠,而不是将其全部暴露在关键路径上。它并不能消除权重读取,也不能保证所有内存延迟都被隐藏。
  • 以消费者所需的粒度交接数据。tile 是张量的一部分。带标签的邮箱保存中间结果以及表示就绪状态的标签。下游阶段或对等 GPU 上的归约操作可以在所需数据就绪后继续,而不必等待生产阶段中无关的工作。消费者仍需等待其自身计算所需的全部输入。

选择模型特定的内核边界

一个关键的设计挑战是决定MonoKernel 从哪里开始、到哪里结束:哪些操作共享一次启动,哪些仍留在单独的内核中。融合更多阶段并不自动更好。边界必须契合模型的数据依赖、通信模式和 GPU 资源限制。因此,MonoKernel 边界是模型特定的,而不是通用的“一层一内核”模板。

例如,最初的 DeepSeek-V4.1-Flash 实现(#60397)将标准解码器层路径划分为 K1 和 K2。图 3 展示了每个边界内的操作,而非它们的执行时序。

DeepSeek-V4.1-Flash example: K1 contains the attention front; K2 contains the attention back, a TP all-reduce, MoE, and a second TP all-reduce.
DeepSeek-V4.1-Flash 示例:K1 包含注意力前端;K2 包含注意力后端、一次 TP all-reduce、MoE 以及第二次 TP all-reduce。
图 3. DeepSeek-V4.1-Flash 示例中的两个启动边界。两次张量并行(TP)all-reduce 都在 K2 内。这是模型特定的划分,而非通用的双内核配方;箭头表示逻辑顺序,而非实测调度。

K1 准备注意力输入并更新 KV 缓存。K2 完成注意力并继续执行前馈工作,两次 TP all-reduce 都在内核内使用对称对等内存。这些归约按 rank 顺序以 fp32 求和,然后转换为 bf16,并与周围工作重叠。将它们放在 K2 内并不意味着通信或跨 rank 同步消失。

此示例的算子级映射

启动阶段
K1注意力前的 mHC(超连接)混合 → 注意力前端:wqkv、q/kv norms、KV 缓存插入、wq_b
K2注意力后端(拆分注意力、合并、wo_a、wo_b)→ TP all-reduce → FFN 前的 mHC 混合 → MoE(router、top-6、共享专家、MXFP4 专家)→ TP all-reduce

更窄的边界:MiniMax-M3。最初的实现(#62712)融合了 FFN 部分,包括其周围的通信,而注意力仍留在原有路径上。与 DeepSeek 示例相比,它只选择层的一部分进行单体内核执行。这些示例说明了不同的边界选择,而不是一个可原样迁移到每个模型的固定配方。

为什么 FlyDSL 契合这种执行模型

边界与调度由内核作者设计,而不是通过选择某种语言自动创建。FlyDSL 是 AMD 面向高性能 ROCm 内核的 Python DSL 和 MLIR 编译器,它提供了表达和编译该设计所需的控制手段。作者负责设计,FlyDSL 负责编译,vLLM 负责选择并集成执行路径。图 4 展示了图 2 中两个线程块之间的交接过程,以及每一步背后的 FlyDSL 原语。

Block i computes stage A for token t, stores q to HBM, then raises flag t. Block j loads its stage-B weights early, polls flag t, and computes stage B once the flag is up.
块 i 为 token t 计算阶段 A,将 q 存储到 HBM,然后置起标志 t。块 j 提前加载其阶段 B 的权重,轮询标志 t,并在标志置起后计算阶段 B。
图 4. 一次 MonoKernel 启动内两个线程块之间的交接,以及每一步对应的 FlyDSL 原语。

块 i 存储其结果,等待存储落地(s_waitcnt 和一个屏障),然后通过邮箱写入为每个 token 置起一个标志。块 j 更早发出了阶段 B 的权重加载,因此权重在其轮询所需标志时到达;标志一置起它就开始阶段 B,中间没有内核边界。FlyDSL 按所写顺序编译,不会自行融合或重排阶段。vLLM 中的 DeepSeek-V4.1-Flash attention front 遵循这一模式。模型、GPU 架构和所支持的步宽仍决定哪些变体可以运行。下一节说明 vLLM 如何集成它们,而不替换服务引擎的其余部分。

实现细节:布局、编译与支持的配置

控制数据移动与同步。为了重叠阶段,实现必须决定工作如何在块、波和线程之间划分,加载何时发出,以及结果何时可用。FlyDSL 让作者能够表达这些选择,必要时细化到特定的缓冲区和矩阵指令。收益来自由此产生的调度,而非 Python 语法本身。

为每个阶段匹配布局和低精度计算。投影、注意力和专家并不都使用相同的数据布局。FlyDSL 让作者选择每个阶段如何划分和访问其张量,并将低精度计算映射到 GPU 的矩阵指令。在 MI355X 上,mono 实现可以原地读取 vLLM 已加载的权重,包括 AITER 的混洗 MXFP4 专家布局,而无需保留第二份副本。这些控制也支持移植,但不会使其自动化:CDNA3 需要适合其较小共享内存(LDS)的 tile 尺寸,并且矩阵指令路径与 CDNA4 不同。

针对支持的配置进行特化并编译。使用 @flyc.kernel 和 @flyc.jit 编写的内核在首次使用时编译并缓存。该实现针对其模型、TP 大小和所支持的步宽进行特化——步宽即前向步骤中处理的 token 行数,包括推测位置和图填充。vLLM 在预热期间构建所需的宽度变体,并在 HIP 图下重放它们。这是有针对性的特化,并不保证一个调度能服务任意模型或批大小。

内核源码保留在模型的 vLLM 目录中,flydsl wheel 作为其新的运行时依赖。确定性编译还支持在审查期间进行 ISA 和资源使用比较。

vLLM 中的专用解码

对 vLLM 而言,MonoKernel 路径是一种专用解码:在 vLLM 常规接口背后,针对特定模型和硬件实现的解码前向计算。调度器、KV 缓存管理器、采样、投机解码和 HIP 图均保持不变;只有解码器层的运行方式不同,并且只在 kernel 能够服务的步骤上生效。每个合并的 mono PR 都遵循 RFC #60904 中约定的规则:

  • 需显式启用,不支持时拒绝。该路径默认关闭;--monokernel 可将其开启(等同于 --additional-config '{"decode_backend": "latency_specialized"}',Kimi-K3 读取的就是后者)。若部署环境无法被 kernel 支持,启动时会失败并列出所有原因。
  • 模型拥有代码。Kernel、运行时和测试都位于 vllm/models/<model>/amd/ 下。Kimi-K3 在其现有模型文件中新增了 26 行,未对 vLLM 核心做任何改动。
  • 逐层、逐步选择 mono 或原生。每一步由一个 plan() 决定。Prefill、混合批次以及宽度超出 kernel 能力的步骤都运行在原生层上。Mono 层使用 vLLM 的权重和 KV 缓存,并返回相同的张量,因此两者可以在同一步内混用。
  • 兼容 HIP 图与投机解码。捕获尺寸不变,投机验证步骤也可以运行在 mono 路径上。

结果

图 5 中汇总的合并 PR 评测由各 PR 作者在 MI355X 或 MI325X 上测得。单独的 GLM-5.2 小节报告的是在 MI350X 上的 RFC 测量结果;这些结果未包含在图 5 中。AgentX 是 InferenceX 基于多轮、长上下文智能体会话构建的基准测试。每个 AgentX 数据点是一次 3600 秒的运行。交互性为 1 / 令牌间延迟(除非另有说明,否则为 P90),单位为 tokens/s/user(越高越好)。图 5a 展示了每个合并 PR 在并发度为 1 时相对同节点原生基线的加速比;DeepSeek-V4-Pro 因对比使用历史 InferenceX 运行结果而被排除。图 5b 跟踪了三个针对同节点原生基线扫描并发度的 PR;它们在 5a 中的柱形与各自折线颜色相同。每个值都是该 PR 所报告指标的比值,方向统一为越高越好:交互性为 mono / 原生,TPOT 和解码步骤时间为原生 / mono。下文各模型小节给出绝对数值并链接到相应 PR。

Two panels. (a) Concurrency-1 speedup of mono decode over stock vLLM for six merged PRs, from 1.20× to 2.26×. (b) Speedup versus concurrency: DeepSeek-V4.1-Flash TP2 narrows from 1.35× to 1.14× at concurrency 8, MiniMax-M3 TP4 from 1.20× to parity at 16, and Muse Spark TP8 stays between 1.35× and 1.57×.
两个面板。(a) 六个合并 PR 的 mono 解码相对原生 vLLM 在并发度为 1 时的加速比,从 1.20× 到 2.26×。(b) 加速比随并发度的变化:DeepSeek-V4.1-Flash TP2 在并发度 8 时从 1.35× 收窄至 1.14×,MiniMax-M3 TP4 在并发度 16 时从 1.20× 降至持平,Muse Spark TP8 保持在 1.35× 至 1.57× 之间。
图 5. Mono 解码相对原生 vLLM 的加速比:(a) 每个合并 PR 在并发度为 1 时与同节点原生基线的对比;(b) 随并发度增长的变化。

DeepSeek-V4.1-Flash

#60397 将 30 个标准层作为 K1 + K2 运行;在同一 TP2 MI355X 节点上,开启 mono 后,并发度为 1 时的 P90 交互性从 318.1 提升至 429.1 tok/s/user。在整个扫描范围内,总吞吐量提升 1.04–1.16×,P90 TTFT 变化最多 0.1 秒,因为 prefill 不使用 mono 路径。同一 PR 为其余 10 层实现的 FFN 启动又带来 1.02–1.19× 的提升;在 TP4 下,并发度为 1 / 2 / 4 / 8 时的 P90 交互性分别是 InferenceX 已发布的相同配方运行结果的 1.66× / 1.56× / 1.64× / 1.38×。#61082 随后将全部 40 层作为 K1 + K2 运行,在 TP4、并发度为 1 时达到 562.6 tok/s/user(比此前的 mono 路径提升 3.9%)。

MI300X/MI325X 移植(#60731)将标准解码器层从 32 个内核、320 µs 缩减到 2 个内核、115 µs。在 MI325X 上以 TP4 运行 AgentX 时,并发 1 的 P90 交互性从 182.25 tok/s/user 提升到 411.26 tok/s/user,每 GPU 总吞吐量提升 1.63×;在并发 2 / 4 / 8 时,P90 交互性分别是 InferenceX 公布的 MI325X 数据的 2.41× / 2.22× / 1.99×。

在 MI355X 上的 TP8(#64101)中,每个 rank 流式加载的权重数量是 TP4 时的一半,而 K1/K2 链长度保持不变,因此单核解码在并发 1 时仍然有收益。在一台仅切换 --monokernel 的 TP8 服务器上,使用 DSpark 推测解码的解码步骤从 8.59 ms 降至 5.36 ms(392 → 580 tok/s)。这些步骤时间测量使用 3.87 的合成接受长度,以将步骤时间与接受长度分离;此 TP8 配置的准确率仍在评估中(见 PR)。DSpark 草稿模型运行在相同内核上(#62131):其三层每步耗时约 227 µs,而非约 640 µs,接受长度不变。

DeepSeek-V4-Pro

更大的 Pro 模型拥有自己的一份 mono 包副本,针对其维度进行了专门化(#61482,MI355X 上的 TP8)。AgentX P50 交互性在并发 1 / 4 / 8 时分别为 +28.7% / +26.5% / +11.9%,但基线是 InferenceX 在较旧软件栈上的历史运行结果,因此这些数字既包含内核变化,也包含软件栈变化。

MiniMax-M3

MiniMax-M3 MXFP4 PR(#62712)表明部分融合已经带来收益:仅第 3–59 层的 FFN 部分(all-reduce、RMSNorm、router、共享和路由专家、最终 all-reduce)作为一次启动运行,注意力仍走原有路径。在 MI355X 上以 TP4 运行随机 1k/1k 提示时,并发 1 的 TPOT 从 5.12 ms 降至 4.27 ms。M3 和 M3.1 的全层 mono 解码(同时融合注意力和稀疏索引器)正在评审中(#59705、#65638)。

Kimi-K3

Kimi-K3 将 KDA 线性注意力层与 MLA 层混合。#60683 将 KDA 层作为 K1 + K2 运行,并将 MLA 层的输出投影和 MoE 作为 K2 运行;#61435 增加了 MLA 序言和尾声内核,并在没有解码上下文并行(DCP1)的情况下,将 FlyDSL MLA 解码注意力阶段融合进 K2,因此一个 MLA 层需要两次启动。在 MI355X 上以 TP8、并发 1、七个推测 token 运行时,8k 输入的 P50 TPOT 从 5.47 ms(原有)降至 4.35 ms(#60683),再降至 3.44 ms(+ #61435 在 DCP1 下,1.59×);64k 输入时从 5.67 ms 降至 3.58 ms(1.58×)。原有和 #60683 的数字是 #60683 公布的结果;#61435 的数字是两个种子的平均值。

Muse Spark

Muse Spark Open MXFP4(#63440)在 8× MI355X 上以 TP8 和专家并行,将每个 DSpark 验证步骤的解码器层 1–60 作为持久启动运行,测量基于 AgentX 的智能体编码轨迹(输入长度中位数 159k token)。基线是配方原有 TP8 配置在并发 1 下的结果、原有 TEP8 配置(TP8 加专家并行,与 mono 运行相同)在并发 8 下的结果,以及两者之间较快的那个。并发 1 的交互性从 263.1 tok/s/user 提升到 413.8 tok/s/user,每 GPU 总吞吐量在整个扫描范围内提升 21–29%。

GLM-5.2:RFC 测量

RFC #60904 在 8× MI350X 上以 TP8 测量了 GLM-5.2 MonoKernel(现处于评审中,#60889),模型为 GLM-5.2-MXFP4。vLLM 中图模式下的解码步骤从约 2,459 个内核降至约 210 个(75 次 MonoKernel 启动,加上稠密层、输入准备和 head),使用默认 BF16 attention 时,batch 1 下每 token 时间从 13.70 ms 降至 5.92 ms(2.31×;使用 FP8 attention 时为 2.85×),batch 8 下从 17.33 ms 降至 11.44 ms(1.51×)。在 AgentX 上使用 FP8 attention 时,1 个用户下 token 间时间从 15.0 ms 降至 6.5 ms(2.31×),8 个用户下从 20.4 ms 降至 12.7 ms(1.61×)。

精度

融合内核以与标准路径不同的顺序进行量化、累加和归约,因此必须针对每个模型和配置评估精度,并在同一服务器上分别开启和关闭 mono 进行对比。对于下列配置,差异在噪声范围内:

  • DeepSeek-V4.1-Flash,TP2(RFC #59665 协议,按问题配对):GPQA-Diamond 85.3 → 85.1(Δ −0.2 ± 0.6),AIME25 99.4 → 98.3(Δ −1.0 ± 0.7),RULER NIAH 在每个单元格中均为 40/40。
  • DeepSeek-V4.1-Flash,MI325X:GSM8K 92.5 → 92.7(p = 0.49)。
  • MiniMax-M3:GSM8K 89.7 → 90.5(p = 0.37)。
  • Kimi-K3:GSM8K 96.0 → 96.3,GPQA-Diamond 92.4 → 93.9;开启 mono 后,RULER NIAH 在最长 256K 的每个长度上得分均为 1.0。
  • Muse Spark(RFC #59665 协议):GPQA-Diamond 88.5 → 88.7,AIME25 98.3 → 98.6。

每个配置的完整结果见链接的 PR。

在端到端评估之下,mono 层还针对 vLLM 自身的算子链和精确的 fp32 参考进行了测试,例如 DeepSeek-V4.1-Flash 的每 token 余弦相似度 ≥ 0.999,以及在 300 次 HIP 图重放中结果逐位一致。

试用

自 2026 年 10 月起,mono decode 已合并到 vLLM main 中,支持 MI355X 上的 DeepSeek-V4.1-Flash、DeepSeek-V4-Pro、MiniMax-M3、Kimi-K3 和 Muse Spark,DeepSeek-V4.1-Flash 还支持 MI325X。GLM-5.x、Qwen3.8 和 MiniMax-M3.1 的移植正在评审中。

Mono decode 为可选启用,因此请在受支持的 recipe 中添加 --monokernel。例如,PR 中在 MI355X 上使用的 DeepSeek-V4.1-Flash 配置:

VLLM_ROCM_USE_AITER=1 \
vllm serve deepseek-ai/DeepSeek-V4.1-Flash \
  --tensor-parallel-size 4 \
  --tokenizer-mode deepseek_v41 --trust-remote-code --language-model-only \
  --max-num-seqs 8 --block-size 128 \
  --attention_config.indexer_kv_dtype=mxfp4 \
  --moe-backend aiter \
  --speculative-config '{"method":"dspark","num_speculative_tokens":5}' \
  --monokernel

如果部署不受支持,vLLM 将拒绝启动并列出所有原因。每个模型支持的配置记录在其包内的 vllm/models/<model>/amd/ 下。

范围与限制

Mono decode 是一种延迟优化,有三项限制:

  • 低并发下效果最佳。并发为 1 时收益最大,并发更高时收益较小(图 5b)。对于 DeepSeek-V4.1-Flash,TP8 mono decode 是并发为 1 的配置:在并发为 4 时,一台 TP8 服务器的吞吐量比两个 TP4 副本低 26%(#64101)。
  • 步骤宽度有限。推测 token 和图填充计入该限制:MI355X 上 DeepSeek-V4.1-Flash 最多 48 行(MI325X 上为 42 行,因其 LDS 较少),MiniMax-M3 和 Kimi-K3 为 16 行。更宽的步骤走标准路径。
  • MI300X/MI325X 上的权重副本。在没有缩放 FP4/FP8 MFMA 的情况下,内核保留自己的权重副本:TP4 下 DeepSeek-V4.1-Flash 每 rank 为 170 GiB,而非 99 GiB。这在 MI325X 上仍能留下较大的 KV cache,但在 MI300X 上空间很小。

总结

小批量解码的大部分时间都花在内核之间的间隙:启动内核、等待整个阶段完成,以及在 GPU 空闲时流式传输权重。FlyDSL MonoKernels 通过将每个解码器层(或其一部分)作为少量持久化启动来运行,从而消除了其中大部分时间——这些启动在各阶段之间复用线程块、预取权重、通过带标记的邮箱向前传递就绪数据,并在内核内部跨 GPU 进行归约。FlyDSL 让这一切变得可行:作者可以控制每个阶段的布局、数据移动和同步,精细到单条指令,并且每个内核都会针对其模型、TP 大小和步长宽度进行专门化并即时编译。

在 vLLM 中,mono decode 现已为五个模型合并,并遵循一个通用的、可选启用的标准。它将并发数为 1 时的交互性或每输出 token 时间提升了 1.20 倍到 2.26 倍,并且每个 PR 都会报告开启和关闭 mono 时的准确率。我们邀请 vLLM 社区在 AMD Instinct GPU 上试用 --monokernel,审阅正在进行的移植,并使用编写指南(审阅中)将 mono decode 引入新模型。

参考文献

  1. FlyDSL 语言与编译器
  2. RFC #60904:vllm/models 中专用的(MonoKernel)解码标准
  3. DeepSeek-V4.1-Flash mono decode:#60397、#61082、#60731、#62131、#64101
  4. DeepSeek-V4-Pro mono decode:#61482
  5. MiniMax-M3 mono decode:#62712
  6. Kimi-K3 专用解码:#60683、#61435
  7. Muse Spark mono decode:#63440
  8. 共享的专用解码抽象:#61311;MonoKernel 编写指南(审阅中):#62256
  9. TileRT
  10. InferenceX AgentX 指标定义

免责声明

本博客中的性能和准确率数据取自所链接的 vLLM pull request 和 RFC #60904。这些数据由作者在 AMD Instinct™ MI355X(gfx950,288 GB HBM3E)、AMD Instinct™ MI350X(gfx950,288 GB HBM3E)和 AMD Instinct™ MI325X(gfx942,256 GB HBM3E)系统上测得,所用模型、软件版本、服务标志和基准设置均在各 PR 或 RFC 中描述。AgentX 结果使用 InferenceX 的基准测试客户端,每个数据点运行一次,每次 3,600 秒。如果某个 PR 是与已发布的 InferenceX 运行结果而非同节点基线进行比较,本博客会予以说明。

第三方内容由拥有该内容的第三方直接授权给您,而非由 AMD 授权给您。所有链接的第三方内容均按“原样”提供,不附带任何形式的保证。此类第三方内容的使用完全由您自行决定,在任何情况下 AMD 均不对任何第三方内容向您承担责任。您承担所有风险,并对因使用第三方内容而可能产生的任何损害承担全部责任。

所示结果来自特定测试配置,可能因工作负载、模型和系统配置而异。

本文档中提供的信息仅供参考,可能包含技术不准确之处、遗漏和排版错误。本文所含信息可能会发生变化,并可能因多种原因而变得不准确,包括但不限于产品和路线图变更、组件和主板版本变更、新模型和/或产品发布、不同制造商之间的产品差异、软件变更、BIOS 刷新、固件升级等。任何计算机系统都存在无法完全预防或缓解的安全漏洞风险。AMD 无义务更新或以其他方式更正或修订此信息。 但是,AMD 保留修订此信息并不时更改其内容的权利,且无义务通知任何人此类修订或更改。 此信息按“原样”提供。AMD 不对本文内容作出任何陈述或保证,也不对本文信息中可能出现的任何不准确、错误或遗漏承担任何责任。AMD 明确否认任何关于不侵权、适销性或特定用途适用性的默示保证。在任何情况下,AMD 均不对任何人因使用本文所含任何信息而导致的任何依赖、直接、间接、特殊或其他后果性损害承担责任,即使 AMD 已明确被告知此类损害的可能性。 AMD、AMD Arrow 标志、AMD Instinct、AMD EPYC、AMD ROCm 及其组合是 Advanced Micro Devices, Inc. 的商标。本出版物中使用的其他产品名称仅用于标识目的,可能是其各自公司的商标。Linux 是 Linus Torvalds 在美国和其他国家的注册商标。PyTorch、PyTorch 标志、vLLM 及相关标记是 The Linux Foundation 的商标。Ubuntu 是 Canonical Ltd. 的注册商标。本出版物中引用的所有其他商标和产品名称,包括 MiniMax、DeepSeek、Kimi、Muse Spark、InferenceX 和 Hugging Face,均为其各自所有者的财产。 © 2026 Advanced Micro Devices, Inc. 保留所有权利。

来源:vLLM Blog · vllm.ai