华为开源本地推理量化器MACaQ
热点事件持续更新
华为开源本地推理量化器MACaQ
1 篇报道1 个报道来源7 小时前更新
先了解这件事
AI 综述
华为开源了内部量化工具 MACaQ，可对文本、图像、视频和音频模型做量化，支持 llama.cpp、vLLM、Diffusers 和 PyTorch 后端。华为称，用 32.5 GB 显存可在 64 分钟内量化 122B 参数模型，在 Llama-3-8B 上以 11 倍更少的量化时间达到 MR-GPTQ 和 DuQuant++ 的最佳困惑度。 使用上需 Python 3.12 并为每个后端单独建环境；llama.cpp 支持 CPU 执行，全模型执行需配合昇腾推理运行时。工具以 Apache License 2.0 授权。
AI 根据报道生成 · 1 小时前更新
最新进展11月12日 04:23
华为开源内部量化工具 MACaQ，支持 llama.cpp、vLLM 等多后端本地推理报道时间线
沿着报道，了解事件的不同侧面。
11月12日
- Hacker News华为开源内部量化工具 MACaQ，支持 llama.cpp、vLLM 等多后端本地推理
华为开源内部量化工具 MACaQ，可对文本、图像、视频和音频模型做量化，支持 llama.cpp、vLLM、Diffusers 和 PyTorch 后端。官方称用 32.5 GB 显存可在 64 分钟内量化 122B 参数模型，在 Llama-3-8B 上以 11 倍更少的量化时间达到 MR-GPTQ 和 DuQuant++ 的最佳困惑度。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。