vLLM 发布 EPD 编码器解耦工程实践
热点事件持续更新
vLLM 发布 EPD 编码器解耦工程实践
1 篇报道1 个报道来源12 小时前更新
先了解这件事
AI 综述
vLLM 社区(Inferact、InferMatrix、IBM)发布技术博客,讲解 vLLM 编码器解耦(EPD,即编码器、预填充、解码分离部署)的工程实现与部署方法。博客称,所述核心能力(含 MiMo 与 XPU 支持)已随 vLLM v0.32.0 发布;DeepSeek V4.1 Flash 的 metadata-only 支持已通过 #62802 合入 main 分支;vLLM Router 与 SMG 的集成使用各自 main 分支。 初始支持范围包括图像、Model Runner V2、编码器 TP=1,且不支持动态 LoRA。
AI 根据报道生成 · 2 小时前更新
最新进展11月11日 08:00
vLLM 发布 Encoder Disaggregation 进展:用 EPD 扩展多模态推理服务报道时间线
沿着报道,了解事件的不同侧面。
11月11日
- vLLM BlogvLLM 发布 Encoder Disaggregation 进展:用 EPD 扩展多模态推理服务
vLLM 公布 Encoder/Prefill/Decode(EPD)分离部署的多项工程进展,核心能力随 vLLM v0.32.0 发布,DeepSeek V4.1 Flash 的 metadata-only 支持已在 main 分支合入。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。