arXiv cs.CL· Ankit Gupta, Akshat Pandya, Christoph Adami, Emily Dolson·· 11 小时前AI 评分31
SPOOK：视觉编码器离流形知识的稀疏像素优化
SPOOK: Sparse Pixel Optimization for Off-Manifold Knowledge in Vision Encoders
AI 导读
研究者提出 SPOOK，用像素级爬山法对空白画布做稀疏像素编辑，在 ImageNet 和 Flickr30k 上测试多模态对比编码器与自监督视觉编码器能否检索到指定目标。
正文 · AI 翻译
摘要：现代视觉编码器被广泛用作语义表示，但远离自然图像流形时，嵌入相似度与人类可见语义之间的关系可能变得不清晰。我们在黑盒设置下，通过一种简单的像素级爬山过程，对空白画布施加稀疏像素编辑，来探测这一情形。在 ImageNet 和 Flickr30k 上，我们评估这些经过编辑的空白画布能否在多模态对比编码器和自监督视觉编码器中检索到选定的目标。在 OpenCLIP 上，朝类别提示优化的输入取得了很强的 top-1 和 top-5 定向检索性能；在 DINOv3 上，朝类别原型优化的输入实现了较高的目标对齐度和接近顶部的原型排名。这些结果表明，对原本空白、视觉上无语义的输入进行稀疏编辑，可以进入语言对齐和自监督视觉表示空间中的目标语义盆地。我们的发现揭示了现代视觉编码器一种共有的偏离流形失效模式，并表明稀疏空白画布优化可作为表示几何的一种简单探测手段。
| 评论： | 12 页，3 幅图，3 张表，以及 14 页补充材料（含 8 幅图） |
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL）；人机交互（cs.HC） |
| 引用为： | arXiv:2610.32835 [cs.CV] |
| （或 arXiv:2610.32835v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32835 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Christoph Adami [查看邮箱]
[v1]
2026 年 10 月 23 日星期五 16:09:57 UTC（28,849 KB）
来源：arXiv cs.CL · arxiv.org