视觉编码器跨模态对齐的分层研究

Sugam Karki 等研究者发表论文，系统分析基于 Transformer 的视觉编码器如何处理文本及其含义，逐层考察正字法、语法和语义组织。结果显示，强跨模态映射只在最深层出现，且晚于单模态物体与文本识别能力的发展，对应从表层到语义表征的递进。 该层级在对比训练模型中最为明显；更大的自监督模型和文本丰富的训练数据可在无显式语言监督下部分支持类似行为。

AI 根据报道生成 · 48 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。