arXiv cs.AI· Jin Seong, Wencke Liermann, Minho Kim, Jong-hun Shin, Soojong Lim·· 4 小时前AI 评分37
研究揭示 VLM 在多行手写数学 OCR 中的“过度纠错”问题,并提出 PINK 评估指标
When VLMs 'Fix' Students: Identifying and Penalizing Over-Correction in the Evaluation of Multi-line Handwritten Math OCR
AI 导读
针对多行手写数学 OCR,研究首次系统揭示 VLM 的“过度纠错”失效模式:模型会擅自“修正”学生错误,掩盖教育评估本应检测的错漏。为此提出基于 LLM 评分标准并显式惩罚过度纠错的语义指标 PINK。
正文 · AI 翻译
摘要:准确转录手写数学内容对于教育类 AI 系统至关重要,然而当前的基准测试未能恰当评估这一能力。以往大多数研究聚焦于单行表达式,并依赖 BLEU 等词法指标,这些指标无法评估多行学生解答中的语义推理。本文首次对多行手写数学光学字符识别(OCR)进行系统研究,揭示了视觉语言模型(VLM)的一种关键失效模式:过度纠正。这些模型往往不是忠实转录学生的作答,而是“修正”错误,从而掩盖了教育评估本应检测的那些错误。为解决这一问题,我们提出 PINK(Penalized INK-based score,基于惩罚的 INK 评分),这是一种语义评估指标,利用大语言模型(LLM)进行基于评分标准的打分,并显式惩罚过度纠正。我们在 FERMAT 数据集上对 15 个最先进的 VLM 进行了全面评估,结果显示与 BLEU 相比出现了显著的排名反转:GPT-4o 等模型因激进的过度纠正而受到严重惩罚,而 Gemini 2.5 Flash 则成为最忠实的转录器。此外,人类专家研究表明,PINK 与人类判断的一致性显著更好(偏好率为 55.0%,而 BLEU 为 39.5%),为教育场景中的手写数学 OCR 提供了更可靠的评估框架。代码见 此 https URL。
| 评论: | 已被 EMNLP 2026 主会议接收(口头报告)。22 页。代码:此 https URL |
| 主题: | 计算机与社会(cs.CY);人工智能(cs.AI);计算机视觉与模式识别(cs.CV);机器学习(cs.LG) |
| 引用为: | arXiv:2604.22774 [cs.CY] |
| (或 arXiv:2604.22774v3 [cs.CY] 对应此版本) | |
| https://doi.org/10.48550/arXiv.2604.22774 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考: | EMNLP 2026,第 10932-10953 页 |
| 相关 DOI: | https://doi.org/10.18653/2026.emnlp-main.476
链接到相关资源的 DOI |
提交历史
来自:Jin Seong [查看邮箱]
[v1]
2026 年 4 月 1 日周三 05:27:52 UTC(2,486 KB)
[v2]
2026 年 5 月 26 日周二 06:37:15 UTC(2,494 KB)
[v3]
2026 年 11 月 17 日周二 06:11:15 UTC(2,115 KB)
来源:arXiv cs.AI · arxiv.org