腾讯微信视觉团队开源 WeVisOne-VL 视觉语言模型，统一检测、OCR、分割与抠图
腾讯微信视觉团队开源视觉语言模型 WeVisOne-VL，提供 2B（2.44B 参数）和 4B（4.83B 参数）两个规格，基于 Qwen3-VL，单一模型覆盖检测、指代、计数、pointing、OCR、分割与 alpha matting。
MarkTechPost· Michal Sutter·2026-11-04 12:39· 2 小时前AI 评分64
腾讯 WeVisOne-VL 统一检测、OCR、分割与抠图
AI 导读
腾讯微信视觉团队发布开源视觉语言模型 WeVisOne-VL，提供 2B（2.44B 参数）和 4B（4.83B 参数）两个规格，基于 Qwen3-VL，单一模型覆盖检测、指代、计数、pointing、OCR、分割与 alpha matting，并内置 9.6M 参数像素解码器以输出 mask 和 matte，无需单独的 SAM。
正文 · 原文
腾讯微信视觉团队发布了 WeVisOne-VL，这是一款提供 2B 和 4B 规格的开源视觉语言模型。WeVisOne-VL 视觉语言模型在单一模型中处理检测、指代、计数、pointing、OCR、分割和 alpha matting。像素输出由 9.6M 参数的解码器生成，因此无需单独的 SAM。当查询对象不存在时，它还会回答“None”。对开发者而言，这可以用一个模型替代检测器、OCR 引擎和分割器。
TL;DR
- 规模：Hugging Face 上的 2B（2.44B 参数）和 4B（4.83B 参数），以及一个 9.6M 参数的像素解码器。训练时上下文最多 8,192 个 token；部署上下文长度未披露。
- 运行于：通过 Transformers 或 vLLM 以 BF16 在单块 GPU 上运行。该软件包还列出了 NPU 和 CPU 设备。显存需求未披露。一个社区 GGUF 在 6 GB RTX 2060 上运行了对象级任务。
- 性能：在腾讯表格中，于 30 多个基准中的大多数上优于同规模 VLM 基线（自报数据）。
- 最佳：在 Dense200 密集检测上 F1 Mean 为 71.3，而 LocateAnything-3B 为 58.7。
- 最差：在 PR-Bench 上拒绝率为 52.6%，因此许多目标不存在的查询仍会得到框。
什么是 WeVisOne-VL？
WeVisOne-VL（“微信视觉一体化”）是腾讯基于 Qwen3-VL 构建的以感知为核心的模型。它面向细粒度定位，而非开放式聊天。用户可选择输出粒度：点、框、二值掩码或连续 alpha matte。
WeVisOne-VL 如何工作？
每项任务都被转化为结构化的下一 token 预测。模型为归一化框和点添加坐标 token <0> 至 <1000>。目标不存在时产生 None，而不是猜测一个框。
对于像素任务，模型在每个预测框后输出一个 <OBJ> token。根据模型卡，其隐藏状态成为像素解码器的查询。该解码器包含 3 个部分：
- 视觉特征适配器：复用多级 Qwen3-VL ViT 特征，而非第二个图像编码器。
- 框引导查询解码器：6 个可变形交叉注意力块，由
<OBJ>状态和框作为种子。 - 密集预测头：在 S/4、S/2 和 S/1 上细化输出，生成全分辨率掩码或 matte。
它是如何训练的？
一个知识图谱驱动的数据引擎在超过 1 亿张图像上标注了约 3.6B 个框。SAM3、Rex-Omni 和一个内部检测器提出区域，Qwen3-VL 进行验证。
训练使用了 3 个 SFT 阶段。阶段 1 在 90M 个样本上对齐输出格式。阶段 2 将输入提升至 1,960 个视觉 token，每次响应最多 500 个框。阶段 3 训练像素解码器，然后在 130M 个样本上针对抠图进行专门化。最后的 GRPO 阶段使用了 178K 个经不确定性过滤的样本，如研究论文所述。
WeVisOne-VL 在基准上表现如何？
以下所有数字均为自报数据，使用贪心解码，每张图像最多 1,960 个视觉 token。检测、指代和 OCR 使用在 IoU 0.5 至 0.95 上平均的 F1。
- 检测：4B 模型在 LVIS 上为 55.3 F1，在 Dense200 上为 71.3。
- 指代：RefCOCOg 测试上为 81.8 F1，而 LocateAnything-3B 为 77.6。
- 拒识：在腾讯内部 WeRef-Bench（2,880 条查询）上为 96.4%，而对比模型为 73.0%。
- 计数：PixMo-Count 测试上精确匹配率为 89.6%，而对比模型为 82.8%。
- OCR：TotalText 上为 52.0 F1，领先于 PP-OCRv5 专家模型的 25.7。
- 分割：ReasonSeg val 上为 71.2 gIoU，而 LISA-13B 为 65.0。
- 抠图：P3M-500-NP 框提示上为 7.3 MAD，而 SAM2-Matting（SAM3）为 15.4。越低越好。
2B 模型在大多数任务上落后于 4B 模型。它在 P3M-500-NP 上的框提示抠图得分仍更好，为 6.6 MAD。
WeVisOne-VL 与 Qwen3-VL、Rex-Omni 和 LocateAnything 对比
| 特性 | WeVisOne-VL-4B | Qwen3-VL-4B-Instruct | Rex-Omni | LocateAnything-3B |
|---|---|---|---|---|
| 开发者 | 腾讯微信视觉 | 阿里巴巴 Qwen | IDEA Research | NVIDIA |
| 规模 | 4.83B（HF 列表） | 4B | 3B（模型卡） | 3B（模型卡） |
| 基础模型 | Qwen3-VL | 不适用 | Qwen2.5-VL-3B-Instruct | Qwen2.5-3B-Instruct + MoonViT-SO-400M |
| 许可证 | Apache 2.0 | Apache 2.0 | IDEA License 1.0 | NVIDIA 非商业 |
| 原生掩码 / matte | 是（9.6M 解码器） | 模型卡未提及 | 模型卡未提及 | 模型卡未提及 |
| 上下文 | 未披露（训练时 8,192） | 256K 原生 | 未披露 | 未披露 |
| LVIS F1 均值 | 55.3 | 44.0 | 46.9 | 50.7 |
| Dense200 F1 均值 | 71.3 | 15.2 | 58.3 | 58.7 |
| RefCOCOg 测试 F1 均值 | 81.8 | 74.3 | 74.3 | 77.6 |
| RefCOCOg-Rej 拒识 | 67.4% | 18.8% | 0.5% | 0.6% |
| PointBench | 71.9 | 57.1 | 69.9 | 56.9 |
| TotalText F1 均值 | 52.0 | 33.0 | 40.6 | 43.3 |
如何运行 WeVisOne-VL？
2B 和 4B 模型的权重已在 Hugging Face 上发布。wevisone_vl 包封装了 Transformers 和 vLLM 后端。任务包括 detection、referring、point、count_box、ocr、segmentation 和 matting。
from wevisone_vl import WeVisOneVL
model = WeVisOneVL("tencent/WeVisOne-VL-4B", backend="transformers") # or "vllm"
result = model.predict(image, task="matting", query="person")
2B 和 4B 的托管演示已上线。腾讯还开源了 Mask2Alpha，这是其数据引擎中的抠图标注器。微调代码仍在 TODO 列表中。GGUF 构建无法生成掩码，因为解码器需要原生视觉特征。
关键要点
- 1 个模型覆盖检测、OCR、计数、指向、分割和抠图。
- 一个 9.6M 参数的解码器取代 SAM 来生成掩码和 alpha matte。
- 4B 在 Dense200 上得分 71.3 F1，比 LocateAnything-3B 高 12.6 分。
- Apache 2.0 权重，不同于非商业的 LocateAnything-3B。
查看 论文、GitHub 仓库、模型权重 和 项目页面。另外，欢迎在 Twitter 上关注我们，别忘了加入我们的 150k+ ML SubReddit 并订阅 我们的 Newsletter。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们。
需要与我们合作推广你的 GitHub 仓库、Hugging Face 页面、产品发布、网络研讨会等？联系我们
文章 Tencent WeVisOne-VL Unifies Detection, OCR, Segmentation and Matting 首次发表于 MarkTechPost。
来源：MarkTechPost · marktechpost.com
来源：RadarAI · aihot.news