arXiv cs.AI· Hao Yan, Guanghui Wang·· 11 小时前AI 评分24
渐进子集选择与级联一致性：无监督视觉语言模型自适应方法
Progressive Subset Selection and Cascaded Consistency for Unsupervised Vision-Language Model Adaptation
AI 导读
研究者提出一种无监督 PVLM 自适应框架，将基于 margin 的渐进子集选择与级联一致性学习结合，从可靠的伪标签锚点出发逐步扩展训练数据。该方法仅更新视觉编码器的归一化参数和由文本提示初始化的类原型，并用置信度过滤降低不确定伪标签的影响。在 CLIP 和 SigLIP 骨干的多个识别基准上，该方法一致优于零样本基线，并与近期无监督 PVLM 自适应方法表现相当。
正文 · AI 翻译
摘要：预训练视觉-语言模型（PVLM）实现了强大的零样本识别能力，但在目标域偏移下往往会出现性能下降。无监督自适应提供了一种无需标注数据即可提升目标域性能的实用途径，但其仍具挑战性，因为模型生成的伪标签可能不可靠，且没有可用的标注验证集来进行模型选择或早停。我们提出了一个简单的无监督 PVLM 自适应框架，将渐进式基于间隔的子集选择与级联一致性学习相结合。该子集选择策略利用预测间隔构建类别平衡的伪标签集，并在训练过程中逐步扩展，使自适应能够从可靠的监督锚点开始，再纳入更广泛的目标域数据。级联一致性学习进一步利用无标签样本，通过对弱增强视图的时间平滑教师预测来监督强增强视图上的学生预测，并采用置信度过滤以减少不确定伪标签的影响。为保留预训练嵌入结构，该框架仅更新视觉编码器中的归一化参数以及由文本提示初始化的类别原型。在多个识别基准上使用 CLIP 和 SigLIP 骨干进行的实验表明，该方法相较零样本基线取得了一致提升，并与近期无监督 PVLM 自适应方法相比具有竞争力。这些结果表明，渐进式伪标签选择与教师引导的一致性为在无标注目标数据下自适应 PVLM 分类器提供了一种有效且轻量的策略。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.27515 [cs.CV] |
| （或 arXiv:2610.27515v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.27515 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Richard Wang [查看邮箱]
[v1]
2026年10月20日 星期二 02:30:11 UTC（98 KB）
来源：arXiv cs.AI · arxiv.org