跳到正文
热点事件持续更新

vLLM 发布 EPD 编码器解耦工程实践

1 篇报道1 个报道来源12 小时前更新

先了解这件事

AI 综述

vLLM 社区(Inferact、InferMatrix、IBM)发布技术博客,讲解 vLLM 编码器解耦(EPD,即编码器、预填充、解码分离部署)的工程实现与部署方法。博客称,所述核心能力(含 MiMo 与 XPU 支持)已随 vLLM v0.32.0 发布;DeepSeek V4.1 Flash 的 metadata-only 支持已通过 #62802 合入 main 分支;vLLM Router 与 SMG 的集成使用各自 main 分支。 初始支持范围包括图像、Model Runner V2、编码器 TP=1,且不支持动态 LoRA。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月11日
  1. vLLM Blog
    vLLM 发布 Encoder Disaggregation 进展:用 EPD 扩展多模态推理服务

    vLLM 公布 Encoder/Prefill/Decode(EPD)分离部署的多项工程进展,核心能力随 vLLM v0.32.0 发布,DeepSeek V4.1 Flash 的 metadata-only 支持已在 main 分支合入。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。