arXiv cs.CL· Anders Gj{\o}lbye, Sebastian Ray Mason, Stella Frank, Lars Kai Hansen·· 6 天前AI 评分36
DINOv3 视觉 Transformer 仅凭图像学会词义
Vision Transformers Learn Word Meaning from Images Alone
AI 导读
两个最大的 DINOv3 视觉 Transformer 在仅用图像自监督预训练、无配对字幕或语言监督的情况下，能按词义组织图像中渲染的单词。研究者从单词图像与对照图像的嵌入向量差异中提取词表示，发现同行业品牌名、同语义域名词彼此邻近，国家-首都对呈现与文本词嵌入一致的向量偏移。DINOv3-H 和 DINOv3-7B 据称是首个展现出渲染单词显著语义结构的自监督视觉模型。
正文 · AI 翻译
摘要：视觉模型能否仅从像素中学习词语的含义？我们表明，两个最大的 DINOv3 视觉 Transformer 能够按词义组织渲染在图像中的词语，尽管它们仅使用图像进行自监督预训练，没有配对的标题、类别标签或其他语言监督。我们从词语图像与匹配对照之间的嵌入差异中推导出词语表示，然后测试语义相关的词语是否在每个模型的嵌入空间中互为近邻，同时控制拼写相似性。我们发现，同一行业的品牌名称会聚在一起，来自同一语义域的名词也是如此。国家-首都对表现出一致的向量偏移，这与在文本上训练的词语嵌入类似。这些词语表示还与它们所指称的视觉对象类别的表示对齐。据我们所知，DINOv3-H 和 DINOv3-7B 是首批对渲染词语展现出实质性语义结构的自监督视觉模型。与文本和语音编码器的比较揭示了同一词语表示之间的共享结构。与任一编码器的对比对齐进一步增强了 DINOv3-H 的词语级语义结构，而其他微调后的视觉模型基本保持不变。因此，仅图像训练不仅能教会视觉模型词语看起来是什么样，还能教会它们词语的含义如何相互关联。
| 评论： | 预印本。31 页。6 幅图 |
| 学科： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.13252 [cs.CV] |
| （或 arXiv:2610.13252v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13252 arXiv 颁发的 DOI，通过 DataCite（待注册） |
提交历史
来自：Anders Gjølbye [查看电子邮件]
[v1]
2026 年 10 月 9 日星期五 09:00:08 UTC（5,677 KB）
来源：arXiv cs.CL · arxiv.org