arXiv cs.CL· Kartik Jangra, Atharva Gawane, Siddharth Pulipaka, Hemachandran Karah, Raj Dabre·· 12 小时前AI 评分31
BrailleBench：评测并提升 VLM 的盲文识别能力
Learning to Read Braille: Benchmarking and Improving Braille Recognition Capabilities of VLMs
AI 导读
研究团队构建了 BrailleBench，一个包含 259 张真实 Grade-1 和 Grade-2 盲文图像的人工标注基准，发现通用 VLM 直接转录盲文图像表现很差，而工具辅助系统明显更好。
正文 · AI 翻译
摘要：尽管视觉理解和文档转录取得了快速进展，现代视觉语言模型（VLM）仍难以完成一项基本的无障碍任务：从图像中读取盲文。我们推出了 BrailleBench，这是一个手动整理的基准，包含 259 张真实世界的一级和二级盲文图像。我们评估了专有模型、开放权重模型、OCR 专用模型以及工具辅助的多模态系统，发现独立的通用模型在直接转录盲文图像方面表现不佳，而工具辅助的系统表现要好得多。我们设计了一条合成盲文生成流水线，包含多样化的版式和图像扰动。一个在我们合成数据上训练的 2B VLM 模型在 BrailleBench 的一级盲文上达到 87% 的完全匹配率，在二级盲文上达到 61%，优于独立的 VLM，并在所评估的系统中取得了最高的二级盲文完全匹配分数。我们进一步表明，在我们的实验中，合成验证数据上的高准确率并不能保证真实照片上的高准确率：在先前合成数据上训练的模型在其合成验证集上最高可达 96%，但在 BrailleBench 的一级盲文上最多只有 3.26%。我们的结果揭示了多模态系统中与无障碍相关的能力差距，并表明有针对性的合成监督可以改善真实世界的盲文转录。
| 评论： | 22 页，8 幅图，16 张表。代码和数据：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.36195 [cs.CV] |
| （或 arXiv:2610.36195v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36195 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Atharva Gawane [查看电子邮件]
[v1]
2026 年 10 月 26 日星期一 19:32:41 UTC（5,426 KB）
来源：arXiv cs.CL · arxiv.org