arXiv cs.AI· Chen Peng, Shan Huang, Jianbo Huang, Linrui Qin, Qibo Sun, Mengwei Xu·· 6 天前AI 评分29
多模态大模型为何读不出"眯眼文本"：SquintBench 基准与 Squint OPSD 方法
When MLLMs miss what humans read: diagnosing and learning to read squint text
AI 导读
多模态 LLM 会读不出图像粗结构中的文字（即"眯眼文本"）并声称图中无文字，研究者为此构建了 1076 张生产环境审核图像的 SquintBench 基准。
正文 · AI 翻译
摘要：多模态 LLM 可能无法读取嵌入在图像粗结构中的文字（人类通过眯眼即可辨认的文字），并报告图像中不存在文字。我们将这类文字命名为 Squint Text，并将其作为一种识别缺陷加以研究，动机来自生产内容审核流程中的案例。我们提出了 SquintBench，包含 1076 张来自生产环境的审核图像，以及 SquintCtrl，一个用于机制诊断的受控合成套件。冻结权重分析表明，隐藏文字留下了粗粒度信号，而字形身份的表征较弱；当提供正确的空间区域时，字形身份变得显著更易获取，这表明空间选择是主要瓶颈。在固定视觉 token 预算下，抑制高频内容也能改善读取，而视觉 token 数量也可能有所贡献。这些发现促成了 Squint OPSD：冻结的教师模型接收降采样视图和真实转录作为特权上下文，其 token 级分布沿同策略轨迹监督学生模型。推理时，学生模型仅读取原始图像。Squint OPSD 在 SquintBench 上达到 88.61 ANLS，而未适配的骨干模型为 26.50，原始视图上最佳通用模型为 24.44，降采样视图下现成模型最高为 68.60。这些结果在推理时无需辅助视图的情况下，大幅缩小了可用视觉证据与其生成读出之间的差距。
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.13465 [cs.CV] |
| （或 arXiv:2610.13465v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13465 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Chen Peng [查看邮箱]
[v1]
2026年10月9日星期五 12:02:22 UTC（2,448 KB）
来源：arXiv cs.AI · arxiv.org