视觉语言模型嵌入的图像聚类效果对比研究

查看 PDF HTML（实验性）

摘要：预训练视觉语言模型提供的图像表示，其适用于聚类的程度可能随特征提取方式、图像领域和划分算法而变化。我们在七个图像基准和四种聚类配置上比较了九种表示流程，共得到 252 种基线组合。其中八种流程提取视觉特征，包括两个仅视觉的参照；第九种流程生成描述并嵌入所得文本。在固定使用凝聚聚类（Ward 连接）的情况下，Qwen3-VL 在五个数据集上取得最高的调整兰德指数（ARI），其中 MNIST 上为 0.925；而 BLIP-2 在 CIFAR-10 和 CIFAR-100 上领先，ARI 分别为 0.925 和 0.591。另一项敏感性分析在全部 63 个数据集-表示对上，比较了原始嵌入与保持原始维度的 L2 归一化嵌入。归一化在每个数据集中都保留了 ARI 最高的表示，在 35 对中提高了 ARI，在 26 对中降低了 ARI，另有 2 对在数值上保持不变。在 SVHN 数据集上，最高 ARI 仍然较低，归一化后从 0.097 升至 0.098。所评估的以描述为中介的流程在孤立数字上获得相对较高的 ARI，但并未稳定超过直接视觉特征。这些发现支持针对目标领域选择和评估完整的表示-聚类流程，并明确关注提取与归一化的选择。

主题：	计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG）
引用为：	arXiv:2610.33265 [cs.CV]
	（或本版本的 arXiv:2610.33265v1 [cs.CV]）
	https://doi.org/10.48550/arXiv.2610.33265 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：João Pedro Matos-Carvalho [查看电子邮件]
[v1] 2026 年 10 月 23 日星期五 20:21:15 UTC（3,354 KB）