RadarAI· X:面壁智能 OpenBMB (@OpenBMB)·· 3 小时前AI 评分22
MiniCPM-V 4.7 获 vLLM v0.32.0 支持
AI 导读
MiniCPM-V 4.7 现已获 vLLM v0.32.0 支持,可更轻松地以高吞吐、低延迟方式部署该模型。vLLM v0.32.0 包含 814 次提交、363 位贡献者,新增 /v1/systemone 结构化决策端点与通用 hf 工具/推理解析器,并引入 EmbeddingGemma 2、MiniCPM-V 4.7、Nemotron 3.5 ASR 等新模型支持。
正文 · AI 翻译
OpenBMB· @OpenBMB · X·2026-10-20 14:37· 1 小时前AI 评分43
AI 导读
🚀 MiniCPM-V 4.7 现已获 vLLM v0.32.0 支持!感谢 @vllm_project 的支持。这让以高吞吐、低延迟方式部署 MiniCPM-V 4.7 变得更加容易。
正文 · 原文
🚀 MiniCPM-V 4.7 现已获 vLLM v0.32.0 支持!感谢 @vllm_project 的支持。这让以高吞吐、低延迟方式部署 MiniCPM-V 4.7 变得更加容易。
🚀 vLLM v0.32.0 发布!814 次提交 · 363 位贡献者 · 121 位首次贡献者 🧭 新增 /v1/systemone 结构化决策端点 + 通用 hf 工具/推理解析器 🗜️ 全面支持低精度 KV:SM8x/90/12x 上的 NVFP4、GLM-5.x 默认 FP8 KV、ROCm 上的 4-bit KV 🛠️ Model Runner V2:GPU n-gram 推测器、Elastic EP、面向 MLA 的 PP+CP,现已在 ROCm 上默认启用 ⚡ 更快的启动与 serving:预编译内核下载、autotune 预加载、多 API worker 下 req/s 提升 43–85% 🆕 EmbeddingGemma 2、MiniCPM-V 4.7、Nemotron 3.5 ASR 🔒 3 项安全修复 + CORS 加固 完整说明 → http://github.com/vllm-project/vllm/releases/tag/v0.32.0在 X 查看被引用的帖子
来源:OpenBMB · x.com
来源:RadarAI · aihot.news