arXiv cs.CL· Nguyen Nguyen, Yongyi Zang·· 3 天前AI 评分27
semCER：面向 OCR 的严重度加权字符错误率
Equal CER, Unequal Damage: Severity-Weighted Character Error Rate for OCR
AI 导读
研究提出 semCER，在保留 CER 对齐方式与分母的基础上，由 LLM 评判为每个字素编辑赋予严重度权重，且无需分词。在英语、越南语和中文中，其评分逐条编辑地贴合读者评分，并能将读者认为最严重的编辑排在排序列表前列；在 CER 与 semCER 分歧的样本对上，英语和中文读者更常支持 semCER。研究还发布了 6100 万条已评判编辑、聚合读者评分及蒸馏评分器。
正文 · AI 翻译
摘要：字符错误率（CER）是 OCR 和视觉语言模型（VLM）的标准指标，它把拼写错误和错误姓名同等计分。我们提出 semCER，它保留 CER 的对齐方式和分母，并由 LLM 评判器为每个字素编辑赋予严重程度，无需分词。归一化 CER 保留整段转写的得分，在此它追踪读者的表现与 semCER 相当或更好，而 semCER 将该得分分解为具名编辑。这些严重程度在英语、越南语和中文中逐条编辑地追踪读者的评分，并将读者评为最严重的编辑置于排序列表的顶部。在 CER 与 semCER 不一致的样本对上，英语和中文中读者更常支持 semCER 而非归一化 CER，越南语中两者相同。在 16 种语言中，评判器对西班牙语中错误的变音符号或声调符号几乎不计分，但在泰卢固语中其严重程度几乎等同于错误字母。在可以统计真实单词的情况下，通用 VLM 的错误字母远高于随机水平，而经典流水线的则接近随机水平。我们发布 6100 万条已评判编辑、汇总的读者评分以及蒸馏评分器，见 此 https URL。
| 评论： | 26 页，7 幅图，14 张表。正在 ACL Rolling Review 审稿中 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| ACM 分类： | I.2.7；I.7.5 |
| 引用为： | arXiv:2610.20461 [cs.CL] |
| （或 arXiv:2610.20461v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20461 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Nguyen Nguyen [查看电子邮件]
[v1]
2026年10月14日星期三 16:44:22 UTC（610 KB）
来源：arXiv cs.CL · arxiv.org