arXiv cs.CL· Sheridan Feucht, Benno Krojer, Sarah Wang, Henry Abrahamsen, Byron C. Wallace, David Bau·· 11 小时前AI 评分34
利用 OCR Heads 将图像语义语言化：VLM 视觉语言对齐机制研究
Using OCR Heads to Verbalize Image Semantics
AI 导读
研究在四个 VLM 中识别出对 OCR 因果必要的注意力头，发现这些头实为通用语义头，可对所有图像 token 输出可解释语义特征——指向含 "bike" 的图像 token 时 Qwen3-VL-8B 输出 "bike"，指向鸟翼时输出 "feathers"。
正文 · AI 翻译
摘要：VLM 如何从像素映射到语义？为了理解这个一般性问题，我们聚焦于一个较窄的问题：研究 VLM 如何执行光学字符识别（OCR）。在四个模型中，我们识别出对 OCR 具有因果必要性的注意力头，并发现这些实际上是通用头，会在所有图像 token 上输出可解释的语义特征。例如，将这些头指向包含单词“bike”的图像 token 会使 Qwen3-VL-8B 输出“bike”，但将它们指向鸟翼会使模型输出 token“feathers”。我们将这些头的注意力权重折叠为单一的言语化透镜变换，从而揭示所有层隐藏状态中可解释的语义特征。当与投影到词汇空间相结合时，我们可以从第 0 层开始获得可解释的标签，表明图像表示实际上在早期层就与语言对齐。我们发现，还可以使用该变换的逆来编辑非单词概念，例如在自然图像中将拖拉机替换为左轮手枪，这提供了因果证据，表明该子空间不仅仅对 OCR 有用。我们的结果是一个示例，说明对特定机制的研究如何能够阐明更广泛的可解释性问题。
| 评论： | 21 页，22 张图 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；计算与语言（cs.CL） |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2609.18823 [cs.CV] |
| （或 arXiv:2609.18823v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.18823 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Sheridan Feucht [查看电子邮件]
[v1]
2026 年 9 月 16 日星期三 15:30:17 UTC（25,383 KB）
[v2]
2026 年 11 月 2 日星期一 16:14:54 UTC（25,382 KB）
来源：arXiv cs.CL · arxiv.org