arXiv cs.CL· Sugam Karki, Ra\'ul V\'azquez, Yova Kementchedjhieva·· 11 小时前AI 评分29
视觉 Transformer 的跨模态对齐与表征层级：分层解析文本理解能力
Reading Between the Layers: Cross-Modal Alignment and Representational Hierarchy in Vision Transformers
AI 导读
研究系统分析了基于 Transformer 的视觉编码器如何处理文本及其含义，逐层考察正字法、语法和语义组织。结果显示，强跨模态映射只在最深层出现，且晚于单模态物体与文本识别能力的发展，对应从表层到语义表征的递进。该层级在对比训练模型中最为明显，而更大的自监督模型和文本丰富的训练数据可在无显式语言监督下部分支持类似行为。
正文 · AI 翻译
摘要：尽管大型视觉语言模型在光学字符识别方面表现出色，但其底层视觉编码器如何处理文本及其含义，以及它们是否支持类似阅读理解的能力，仍不清楚。我们系统地研究了基于 Transformer 的视觉编码器，利用渲染文本与视觉概念之间的跨模态对齐，并结合探测与检索分析，作为观察这些更广泛能力的受控窗口。我们的逐层分析涵盖正字法、语法和语义组织，并揭示出强跨模态映射仅在最深层的层中出现，此时单模态物体与文本识别已经发展起来，这与从表层表示到语义表示的进展相吻合。尽管这种层级结构在对比训练模型中最为显著，但更大的自监督模型和文本丰富的训练数据在无显式语言监督的情况下部分支持类似行为。总之，我们的结果表明，增加模型和训练数据规模，以及使用文本丰富的训练数据，可以部分弥补语言监督的缺失。
| 评论： | 已被 AACL 2026 Findings 接收 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.32463 [cs.CL] |
| （或 arXiv:2610.32463v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32463 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sugam Karki [查看电子邮件]
[v1]
2026年10月23日星期五 10:30:51 UTC（1,112 KB）
来源：arXiv cs.CL · arxiv.org