arXiv cs.AI· Sivasuthan Sukumar, Uthayasanker Thayasivam·· 1 天前AI 评分26
基于熵的视图选择看不到什么：视觉语言模型测试时适应的审计研究
What Entropy-Based View Selection Cannot See: An Audit of Test-Time Adaptation for Vision-Language Models
AI 导读
研究发现，视觉语言模型测试时适应中，视图选择而非梯度更新贡献了几乎全部准确率增益；但当预测错误时，基于熵的视图选择排序正确视图的能力与随机猜测相当，仅恢复oracle约二十分之一的准确率。该局限在两种图像编码器下均成立，原因是熵只衡量置信度而不反映视图支持哪个类别。作者利用增强流程中已有的信号——每个裁剪保留原图的比例——进行排序，在15个基准数据集中的14个上优于熵方法。
正文 · AI 翻译
摘要：CLIP 等视觉语言模型能够将图像分类到它们从未被明确训练识别过的类别中，但当测试图像在风格或来源上与训练数据不同时，准确率会下降。一种常见的补救方法是为每张测试图像生成随机裁剪和翻转的副本，称为视图，并综合它们的预测结果。由于某些视图会漏掉目标物体，方法必须识别哪些视图值得信任。主流方法使用预测熵来衡量置信度，并保留最确定的视图。其他方法则使用嵌入典型性等信号。尽管这些评分函数被反复改进，但它们所依赖的信息——模型对每个视图自身的响应——在很大程度上仍未得到考察。我们在固定其他流程阶段的情况下研究这一选择。首先，我们表明，几乎所有的准确率提升都来自视图选择，而非梯度更新。然后，我们考察当预测错误、但至少有一个视图预测出正确类别时，熵是否能识别出有用的视图。在这些情况下，熵将正确视图排在错误视图之上的能力并不优于随机，仅恢复了在相同视图上由 oracle 所能恢复准确率的大约二十分之一。这一发现在两个图像编码器上均成立，并且在一项排除了明显统计伪影的对照实验下也成立。一项精确分析解释了这一局限：熵衡量的是置信度，而非视图偏向哪个类别。我们识别出增强流程中一个尚未被使用的信号：每个裁剪保留原图像的比例。按这一数量对视图排序，在 15 个基准数据集中的 14 个上优于熵，在 15 个中的 11 个上优于所测试的最强评分函数。一项方法前的测量还能预测哪些数据集会受益。
| 评论： | 被 NeurIPS 2026 VLM4RWD 研讨会接收 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.14686 [cs.CV] |
| （或 arXiv:2611.14686v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.14686 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sivasuthan Sukumar [查看电子邮件]
[v1]
2026 年 11 月 10 日星期二 19:45:46 UTC（121 KB）
来源：arXiv cs.AI · arxiv.org