inclusionAI 发布 ZwZ2-27B GGUF 量化权重

蚂蚁 inclusionAI：HuggingFace 新模型·2026-10-30 18:28· 50 分钟前AI 评分40

inclusionAI/ZwZ2-27B-GGUF

AI 导读

inclusionAI 在 HuggingFace 发布 ZwZ2-27B 的 GGUF 格式权重，属于 Zooming without Zooming v2。模型拆分为语言模型与视觉编码器/投影器（mmproj）两部分，各提供 FP16、Q8_0、Q4_K_M 三档精度，可混搭组合。使用需较新的 llama.cpp 构建并支持 Qwen3.5 多模态。

正文 · 原文

ZwZ2-27B 的 GGUF 格式权重， 属于 Zooming without Zooming v2。 该模型拆分为两个组件：

• 语言模型： FP16、Q8_0、Q4_K_M。
• 视觉编码器与投影器（mmproj）： FP16、Q8_0、Q4_K_M。

从本仓库中选择一个语言模型和与之匹配的视觉组件。 不同精度级别可以组合使用。量化可能影响准确率； 已发布的评估结果请参见原始模型页面。

使用方法

使用较新的 llama.cpp 构建，并支持 Qwen3.5 多模态。

CLI 推理

llama-mtmd-cli \
  -m ZwZ2-27B-Q8_0.gguf \
  --mmproj mmproj-ZwZ2-27B-Q8_0.gguf \
  --image /path/to/image.jpg \
  -p "Describe this image." \
  --temp 0 -n 2048

本地 API 与网页聊天

llama-server \
  -m ZwZ2-27B-Q8_0.gguf \
  --mmproj mmproj-ZwZ2-27B-Q8_0.gguf \
  --host 127.0.0.1 --port 8080

替换文件名以使用 FP16 或 Q4_K_M 权重。对于图像输入，始终 提供对应的 mmproj 组件。

论文

Zooming without Zooming v2

许可证

这些转换后的权重保留 原始模型及其骨干网络的条款。 llama.cpp 在 MIT 许可证下分发。

来源：蚂蚁 inclusionAI：HuggingFace 新模型 · huggingface.co