arXiv cs.CL· Mannon Ochilov, Oybek Narzullayev, Bahodir Zaripov·· 10 小时前AI 评分18
混合文字乌兹别克语文本的 OCR 后校正：字节级 ByT5 与经验同形异义噪声矩阵
Post-OCR Correction of Mixed-Script Uzbek Text: Byte-Level ByT5 with an Empirical Homoglyph Noise Matrix
AI 导读
针对乌兹别克语西里尔与拉丁字母混排文档中同形字符导致的 OCR 错误，研究提出结合字节级 ByT5 模型、基于 359 个人工分类错误事件估计采样权重的噪声生成器，以及 Levenshtein 约束的保守解码规则。
正文 · AI 翻译
摘要：在乌兹别克语官方和技术文档中，很大一部分 OCR 错误并非由图像质量差引起，而是由两种在用字母表中视觉上完全相同的字符造成的。由于文字转换仍在进行中，西里尔字母和拉丁字母会出现在同一页面上，且常常出现在同一句话中；在我们的测量中，此类页面上同形异义字符错误的密度接近单一文字文本的五倍。我们研究这一问题的场景是，工程地质和 ICT 基础设施报告语料库不得离开组织，因此每个阶段都在本地硬件上执行。所提出的系统将字节级 ByT5 模型与噪声生成器相结合，后者的采样权重由 359 个手动分类的错误事件估计得出，并结合了 Levenshtein 有界保守解码规则。在包含 5,204 个行对的 Gold 集上，它将字符错误率从 0.0578 降至 0.0369，恢复了 91.3% 的同形异义字符，且仅引入 84 个新错误。
| 评论： | 7 页，2 幅图，7 张表。已被第 10 届未来网络与分布式系统国际会议（ICFNDS 2026）接收，ACM ICPS。代码：此 https URL |
| 主题： | 计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV）；机器学习（cs.LG） |
| ACM 分类： | I.2.7；I.7.5 |
| 引用为： | arXiv:2611.13609 [cs.CL] |
| （或 arXiv:2611.13609v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13609 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mannon Ochilov Dr. [查看电子邮件]
[v1]
2026 年 11 月 10 日星期二 05:35:53 UTC（247 KB）
来源：arXiv cs.CL · arxiv.org