arXiv cs.CL· Ada Defne T\"ur, Gaurav Kamath, Joyce Chai, Siva Reddy, Benno Krojer·· 11 小时前AI 评分31
新研究揭示 VLM 与人类如何映射全新视觉指称：NVRD 数据集与基准发布
Would you still call this Dax? Novel Visual References in VLMs and Humans
AI 导读
研究者构建 Novel Visual References Dataset（NVRD），含 19,176 张图像、覆盖 90 个视觉概念，每个概念最多 20 个逐步扰动版本，用于探测泛化能力。
正文 · AI 翻译
摘要：视觉语言模型（VLM）与人类学习者一样，经常接触到新的视觉概念，但它们在接触后如何将新颖的视觉指称映射到语言，仍然在很大程度上未被充分探索，尤其是当这些指称与预训练获得的先验知识相矛盾时。为研究这一问题，我们提出了新颖视觉指称数据集（NVRD）：包含 19,176 张图像，涵盖 90 个视觉概念，跨越不同的视觉新颖程度，每个概念都配有最多 20 个对原始物体逐步扰动得到的版本，以考察泛化能力。与以往针对熟悉概念的视觉增强研究不同，NVRD 完全由从零构建的全新、开放式刺激组成，模拟了人类接触真正新概念的方式。我们评估了 3 个开源模型和 2 个闭源模型，并结合 2,400 条人类判断进行直接的人机对比，发现：(i) 当新概念与先验知识相矛盾时，模型难以在上下文中习得这些概念；(ii) 尽管模型和人类对视觉扰动表现出相关敏感性，但模型显著过度泛化，将学到的标签扩展到人类拒绝的刺激上。我们贡献 NVRD 作为语料库和基准，用于研究人类和机器的视觉概念学习。
| 评论： | EMNLP 主会议 2026 |
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2606.05409 [cs.CV] |
| （或 arXiv:2606.05409v4 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.05409 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ada Tur [查看邮箱]
[v1]
2026年6月3日星期三 20:23:12 UTC（9,189 KB）
[v2]
2026年6月8日星期一 17:17:01 UTC（9,190 KB）
[v3]
2026年6月17日星期三 15:52:34 UTC（9,190 KB）
[v4]
2026年10月16日星期五 15:49:10 UTC（9,190 KB）
来源：arXiv cs.CL · arxiv.org