跳到正文
热点事件持续更新

vLLM 首日支持 Mistral Large 4

1 篇报道1 个报道来源16 小时前更新

先了解这件事

AI 综述

vLLM 宣布在 Mistral Large 4 发布当天提供 Day 0 支持。该模型为 1 万亿参数、每 token 激活 49B 的 MoE 原生多模态模型,提供 FP8 与 NVFP4 两种 checkpoint。 据 vLLM 博客,支持包含在 vllm/vllm-openai:mistral-large-4 Docker 镜像中,并附带 mistral-common 1.13。FP8 部署需单节点 8 块 GPU,或两个 GB200/GB300 节点各 4 块 GPU;权重约需 1.1 TB GPU 显存。vLLM 称该模型自首日起可在 TPU v7x 上通过 vllm-torchtpu 运行,并支持 Pixtral 视觉编码器。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月29日
  1. vLLM Blog精选
    vLLM 首日支持 Mistral Large 4,覆盖 NVIDIA、AMD 与 TPU

    vLLM 宣布在发布当天支持 Mistral Large 4,这是一个 1 万亿参数、每 token 激活 49B 的 MoE 原生多模态模型,提供 FP8 与 NVFP4 两种 checkpoint。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。