蚂蚁 inclusionAI 发布 PolyOCR-Venus：2B/9B 统一 OCR 基础模型

蚂蚁 inclusionAI：GitHub 新仓库· inclusionAI·2026-10-10 14:12· 2 小时前AI 评分41

inclusionAI/PolyOCR-Venus

AI 导读

蚂蚁 inclusionAI 开源 PolyOCR-Venus 系列 OCR 基础模型，含 2B 和 9B 两个版本，基于 Qwen3.5 视觉语言骨干，统一支持文本识别、定位、文档解析、信息抽取与 OCR 推理。

正文

PolyOCR-Venus：面向以文本为中心的视觉智能的
统一 OCR 基础模型

GuangJian Team, Ant Group

在 OCRBench v2.1、CC-OCR、OmniDocBench v1.6、内部 KIE 和 MDPBench 上的跨基准对比。OmniDocBench 使用 PolyOCR-9B 布局引导流程；MDPBench 使用 PolyOCR-2.7B。CC-OCR 排除了多语言 OCR，截断的坐标轴已标注。端到端分数和协议细节见基准结果。

PolyOCR-Venus 将文本识别、定位、文档解析、信息抽取、多语言转换和以 OCR 为中心的推理整合到一个指令遵循模型系列中。

发布

2026-09-21： 技术报告和 OCRBench 评测代码已在本仓库提供，同时附有依赖文件和安装指南。

概览

PolyOCR 是一个基于 Qwen3.5 视觉语言骨干构建的 2B 和 9B OCR 基础模型系列。共享的指令遵循接口支持从读取单个文本区域到恢复文档结构以及对视觉文本进行推理等任务。

统一 OCR 能力。 六大能力组涵盖文本感知、空间定位、结构化理解、抽取、转换和推理，覆盖场景、文档、表格、图表和示意图。
大规模 OCR 数据构建。 精选 OCR 资源辅以受控合成、模型辅助标注和质量验证，形成约 6000 万 SFT 实例的语料库。
能力引导策略优化（CGPO）。 后训练将基于验证器的组相对策略优化（GRPO）与自适应同策略蒸馏相结合，根据教师可靠性和师生能力差距来路由教师监督。

技术报告描述了该模型系列、数据构建、训练方法以及在 OCRBench v2.1、CC-OCR 和 OmniDocBench v1.6 上的评测。此处当前提供的代码是 OCRBench 评测模块；模型权重、训练代码以及 CC-OCR/OmniDocBench 流程不包含在本次发布中。

能力

能力	代表性任务
文本识别	场景文本、手写、多语言 OCR、整页转录
文本定位与检测	检测、定位、指代文本定位、区域识别、文本检测
结构化文档理解	布局与阅读顺序、文档解析、表格、公式、图表
信息抽取与语义关系	实体抽取、关键信息抽取、键值关联、表单
视觉文本理解与转换	文档 VQA、图表/表格理解、分类、翻译
以 OCR 为中心的推理	计数、对可见数值的算术、空间推理、多步推理

训练框架

课程监督微调。约 6000 万个实例被组织为三个阶段。课程逐步将重点从文本感知和文档结构转向 OCR 理解与推理，同时保留通用多模态对齐数据。
能力引导的后训练。CGPO 使用验证器奖励来估计学生能力，并使用缓存的教师生成结果来估计教师能力。一个经过校准的路由器控制每个样本的蒸馏权重；基于验证器的 GRPO 全程保持启用。两个模型变体在此阶段均使用 Qwen3.5-122B-A10B 作为教师。

有关数据引擎、路由公式和训练设置，请参阅技术报告。

基准测试结果

下方展示了技术报告中选定的端到端结果。每一列均为越高越好。

模型	OCRBench v2.1 EN	OCRBench v2.1 ZH	CC-OCR	OmniDocBench v1.6
Qwen3.5-2B	54.03	63.75	65.66	79.95
Qwen3.5-9B	66.64	71.88	71.44	89.49
PolyOCR-2B	72.33	71.32	80.53	88.12
PolyOCR-9B	80.42	78.87	82.43	91.57

布局引导的文档解析。由 PP-DocLayoutV3 提供布局区域和阅读顺序，PolyOCR-9B 解析裁剪出的文本、公式和表格区域，并将结果组装为 Markdown。该流程在 OmniDocBench v1.6 上达到 95.48，而直接整页推理为 91.57。

OCRBench 协议。在本报告中，OCRBench v2.1 指我们对 OCRBench v2 的修订：经过审核和修正的参考标注，以及与任务对齐的评分流程。它保留了原始任务覆盖范围。这些分数应仅与使用相同修订标注和协议的结果进行比较；原始 OCRBench v2 分数不可直接比较。报告附录记录了这些更改。

评估

OCRBench 评估是 PolyOCR 项目的一个组成部分。实现代码组织在 evaluation/ocrbench_v2/ 下，包括：

PolyOCR 两阶段推理配置：解析/识别时禁用思考，问答/推理时启用思考。
兼容 OpenAI 的 API 推理，支持可恢复运行和预测导出。
针对 OCR、VQA、文档/表格/公式解析、关键信息提取、定位和检测的评分，包括 TEDS 和 CDM。
翻译/问答评判、子集重新评分、结果合并和依赖检查。

修订后的数据集以 evaluation/ocrbench_v2/data/ocrbench_v21.tsv 形式包含在本地（10,000 个样本，图像以 base64 嵌入；由于约 1.4 GB 的大小，使用 Git LFS 存储）。要复现报告中的 v2.1 协议，请将此数据集与评估指南中描述的匹配评分/评判设置一起使用。模型权重和 API 凭据必须单独提供。

安装

在 Python 3.11 或更高版本的 Linux 环境中，从仓库根目录运行：

# Fetch the OCRBench v2.1 dataset (requires Git LFS)
git lfs install
git lfs pull

python3 -m venv .venv
source .venv/bin/activate
python -m pip install -r requirements.txt

依赖文件	用例
`requirements.txt`	完整 OCRBench 评估环境的默认入口点
`requirements_api.txt`	仅独立 API 推理
`requirements_vllm.txt`	本地 vLLM 推理与评估

完整评分还需要用于 CDM 的 TeX Live 组件以及用于手写指标的 NLTK 语料库。请遵循评估指南进行数据准备、API 配置、推理、评分和依赖检查。

仓库布局

PolyOCR-Venus/
├── README.md
├── requirements.txt
├── assets/                         # Project logos and report figures
├── docs/
│   └── PolyOCR-Venus.pdf
└── evaluation/
    └── ocrbench_v2/                 # Evaluation code, configs, scripts, and guide

引用

如果您在研究中使用 PolyOCR 或其评估协议，请引用该技术报告：

@article{team2026polyocr,
  title={PolyOCR-Venus: Unified OCR Foundation Models for Text-Centric Visual Intelligence},
  author={Team, GuangJian and Huang, Kaili and Zhang, Yongshuo and Fu, Bingtao and Jiang, Changjiang and Qu, Chenfan and Zhang, Chenfeng and Cui, Fangming and Zhang, Gaoyang and Xie, Jiangwei and others},
  journal={arXiv preprint arXiv:2609.37712},
  year={2026}
}

致谢

PolyOCR 基于 Qwen3.5 构建，并使用 OCRBench、CC-OCR 和 OmniDocBench 进行评估。所包含的评估框架改编自 VLMEvalKit；其上游文档、许可证和源清单随代码一并保留。

许可证

本项目中的开源代码采用 GPL-2.0 许可。 OCRBenchV2.1 采用 MIT 许可。第三方组件保留其原始许可证；所包含的 VLMEvalKit 框架采用 Apache-2.0 许可（见其许可证）。

来源：蚂蚁 inclusionAI：GitHub 新仓库 · github.com

蚂蚁 inclusionAI 发布 PolyOCR-Venus：2B/9B 统一 OCR 基础模型

PolyOCR-Venus：面向以文本为中心的视觉智能的 统一 OCR 基础模型

发布

目录

概览

能力

训练框架

基准测试结果

评估

安装

仓库布局

引用

致谢

许可证

PolyOCR-Venus：面向以文本为中心的视觉智能的
统一 OCR 基础模型