从像素到结构：轻量级视觉语言模型用于文档 OCR 与结构化 JSON 抽取

查看 PDF HTML（实验性）

摘要：尽管大规模闭源视觉语言模型（VLM）为文档理解设定了强有力的基准，但其对商业 API 的依赖因数据自主性顾虑、持续成本以及超大规模计算的环境足迹而限制了在机构档案中的应用。这在遗产数字化领域尤为突出，因为其中的文档包含历史手写文字、领域特定术语（如珠宝、史前史、建筑）以及需要高维结构化提取的非标准版式。我们针对三所大学遗产收藏中的光学字符识别（OCR）到结构化任务，对八个开源轻量级 VLM（最多 7B 参数）进行了比较研究。给定文档图像，模型必须提取文本并生成符合模式的 JSON，从而实现自动验证和下游使用。我们在约束感知协议下，跨零样本、少样本和微调设置评估模型，使用字符错误率（CER）、近似归一化 Levenshtein 相似度（ANLS*）和平均平均精度 F1（mAP-F1）衡量提取保真度和结构化输出质量。以微调基线为对照，我们进一步测试了以下各项的独立影响：(i) 超参数优化，(ii) 经典图像预处理（光照平坦化、去噪和 CLAHE），以及 (iii) 多阶段训练。最后，我们分析了数据集特定微调与单一多数据集检查点之间的权衡，其中联合训练使一个模型能够跨收藏运行，但可能在不同数据集之间转移性能。总体而言，我们表明，经过精心适配、最多 7B 参数的 VLM 可以为人工转录或商业黑盒系统提供可持续、私密且高性能的替代方案，并为寻求机构可控 OCR 到 JSON 提取的遗产机构提供可操作的指导。

评论：	17 页。发表于 Document Analysis and Recognition - ICDAR 2026，LNCS 第 16974 卷，Springer。代码：this https URL
主题：	计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）
引用为：	arXiv:2610.11818 [cs.CV]
	（或 arXiv:2610.11818v1 [cs.CV] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.11818 arXiv 颁发的 DOI 通过 DataCite（待注册）
期刊参考：	Document Analysis and Recognition - ICDAR 2026，Lecture Notes in Computer Science，第 16974 卷，第 502-519 页，Springer，2027
相关 DOI：	https://doi.org/10.1007/978-3-032-36039-7_30 链接到相关资源的 DOI

提交历史

来自：Uddipan Basu Bir [查看电子邮件]
[v1] 2026 年 10 月 8 日星期四 12:21:52 UTC（866 KB）