跳到正文
热点事件持续更新

蚂蚁集团与vLLM社区开源量化推理内核库Humming

2 篇报道2 个报道来源5 小时前更新

先了解这件事

AI 综述

蚂蚁集团与vLLM社区开源了面向量化推理的通用高性能内核库Humming，代码托管在github.com/vllm-project/humming。从vLLM 0.29.0起，CUDA安装已将Humming作为依赖包含在内，无需单独安装。 Humming支持Turing及之后（SM75及以上）的NVIDIA GPU架构，以及平头哥真武810E等CUDA兼容设备。vLLM称，--quantization humming选项仅作为兼容路径，用于Humming支持但vLLM已不再原生支持或尚未原生支持的格式，例如GPTQ INT3；Rubin不支持两种隐藏Tensor Core格式，因此这些原生计算路径的支持不延伸到Rubin。 跟进报道称，原则上任何能运行PyTorch 2.7的环境也能运行Humming，便于集成到现有推理环境。

AI 根据报道生成 · 1 小时前更新

最新进展10月21日 08:00
蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming

报道时间线

沿着报道，了解事件的不同侧面。

10月21日
  1. vLLM Blog精选
    蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming

    蚂蚁集团与 vLLM 社区开源通用高性能量化推理内核库 Humming，支持 Turing 及之后的 NVIDIA GPU 架构以及平头哥真武 810E 等 CUDA 兼容设备。

  2. RadarAI
    蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming

    蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming，仓库为 github.com/vllm-project/humming，支持从 Turing 起的 NVIDIA GPU 架构及平头哥镇岳 810E 等 CUDA 兼容设备。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。