arXiv cs.AI· Seongjae Kang, Dong Bok Lee, Hyungjoon Jang, Sung Ju Hwang·· 14 小时前AI 评分26
双头优化实现视觉语言模型半监督知识蒸馏
Simple yet Effective Semi-supervised Knowledge Distillation from Vision-Language Models via Dual-Head Optimization
AI 导读
研究者提出双头优化（DHO），为监督信号和蒸馏信号各设一个预测头，缓解知识蒸馏中两类损失的梯度冲突，从而将视觉语言模型的泛化能力迁移到任务专用小模型。在 15 个数据集上，DHO 持续优于知识蒸馏基线，学生模型常超过教师模型，并在 ImageNet 半监督学习及 ImageNet 变体分布外泛化上取得新的 SOTA。
正文 · AI 翻译
摘要：半监督学习（SSL）通过利用无标签数据，已成为应对数据稀缺挑战的实用方案。近来，在大规模图文对上预训练的视觉语言模型（VLM）展现出卓越的零样本/少样本性能，凭借其出色的泛化能力，往往超越 SSL 方法。这一差距促使我们思考：如何将 VLM 强大的泛化能力有效注入任务特定模型？知识蒸馏（KD）为迁移 VLM 能力提供了自然的框架，但我们发现它存在监督损失与蒸馏损失之间的梯度冲突。为应对这一挑战，我们提出双头优化（DHO），为每种不同信号引入双预测头。我们观察到 DHO 缓解了梯度冲突，相比单头 KD 基线实现了更好的特征学习，并具有计算开销极小、无需重新训练即可在测试时调优超参数等实际优势。在 15 个数据集上的大量实验表明，DHO 持续优于 KD 基线，且常以更小的学生模型超越教师模型。DHO 还在分布内 ImageNet 半监督学习和跨 ImageNet 变体的分布外泛化上均取得了新的最先进性能。代码和模型检查点已公开于 此 https URL。
| 评论： | 已被 NeurIPS 2026 接收。52 页，17 幅图。更新了作者单位与摘要；新增附录研究：重复运行可靠性、额外 VLM 教师以及非线性头正则化 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2505.07675 [cs.LG] |
| （或 arXiv:2505.07675v3 [cs.LG] 为本版本） | |
| https://doi.org/10.48550/arXiv.2505.07675 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Seongjae Kang [查看邮箱]
[v1]
2025 年 5 月 12 日星期一 15:39:51 UTC（10,480 KB）
[v2]
2025 年 9 月 30 日星期二 14:13:57 UTC（10,276 KB）
[v3]
2026 年 10 月 24 日星期六 06:51:32 UTC（12,164 KB）
来源：arXiv cs.AI · arxiv.org