arXiv cs.AI· Qianpu Chen, Derya Soydaner, Rob Saunders·· 10 小时前AI 评分39
视觉模型中的空想性错视：用 FacesInThings 数据集探测人脸选择性
Faces in Things, Faces in Nothing: Probing Face Selectivity in Vision Models with Pareidolia
AI 导读
研究用 FacesInThings 数据集测试六种视觉模型（从纯视觉 ViT 到 CLIP 及生成式视觉语言模型），发现模型对错觉人脸的反应与人类不同：人脸检测器很少在这些区域返回人脸，而 CLIP ViT-L/14 和两个生成模型在类别被描述为"人脸种类"时把约一半区域标为 Human，标注者则读作动物或卡通脸。
正文 · AI 翻译
摘要：电源插座可以看起来像一张脸，却并未描绘一个人。因此，面孔空想性错觉是揭示视觉模型如何将模糊的视觉证据转化为类别判断的一个有力探针。当模型将这样一个物体称为 Human 时，这个答案是否取决于其类脸排列？我们使用 FacesInThings 数据集，以人脸检测器作为参照，测试了六个视觉模型，从仅视觉的 ViT 到 CLIP 以及生成式视觉语言模型。每个类脸区域都与同一张照片中三个缺乏该排列的对照配对：背景裁剪、将其图块打乱后的区域，以及其平均颜色。由该排列驱动的 Human 答案在这些对照上应更少出现。我们还改变了类别的描述方式。由此得出三项发现。第一，模型会对错觉面孔作出反应，但与人不同：人脸检测器很少为这些区域返回人脸，然而当类别被描述为各种脸时，CLIP ViT-L/14 和两个生成式模型将其中大约一半标记为 Human。相比之下，标注者将这些脸解读为非人类，例如动物或卡通脸。对这些模型而言，脸默认就是人脸。第二，相似的 Human 比例掩盖了相反的行为。一旦移除该排列，LLaVA-1.5 回答 Human 的频率就会降低；Qwen2-VL 将每个平均颜色图块都称为 Human，并在每个图块中描述出一个人；CLIP ViT-B/32 将打乱区域称为 Human 的频率高于真实人脸；SmolVLM 很少回答 Human，但主要针对类脸区域。第三，重新措辞类别会改变 Human 答案是否偏向于脸，在 LLaVA-1.5 中消除了这种偏好，而在 CLIP 中则产生了这种偏好。Human 答案并非脸的证据：视觉模型可以在脸消失后仍继续给出该答案。
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2603.03989 [cs.CV] |
| （或此版本的 arXiv:2603.03989v4 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2603.03989 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Qianpu Chen [查看邮箱]
[v1]
2026年3月4日星期三 12:33:36 UTC（3,687 KB）
[v2]
2026年7月21日星期二 13:11:18 UTC（5,496 KB）
[v3]
2026年7月22日星期三 15:07:20 UTC（2,412 KB）
[v4]
2026年11月4日星期三 13:17:16 UTC（10,212 KB）
来源：arXiv cs.AI · arxiv.org