arXiv cs.AI· Seongjae Kang, Dong Bok Lee, Hyungjoon Jang, Dongseop Kim, Sung Ju Hwang·· 2 天前AI 评分24
PCoreSet：利用视觉语言模型知识蒸馏实现高效主动学习
PCoreSet: Effective Active Learning through Knowledge Distillation from Vision-Language Models
AI 导读
研究者提出 ActiveKD 框架，将主动学习与知识蒸馏结合，利用大型视觉语言模型的零样本和少样本能力弥补主动学习场景中缺乏任务专用教师模型的问题。基于 VLM 预测在概率空间中成簇的结构化偏置，团队设计了 PCoreSet 选择策略，在概率空间而非特征空间最大化覆盖。
正文 · AI 翻译
摘要：知识蒸馏（KD）是一种广泛使用的框架，通过从教师模型迁移知识来训练紧凑的、面向特定任务的模型。然而，将其应用于主动学习（AL）——旨在通过迭代样本选择来最小化标注成本——的研究仍不充分。这一空白源于 KD 通常假设能够获得充足的标注数据，而 AL 则在数据稀缺的场景下运行，此时往往无法获得面向特定任务的教师模型。在本文中，我们首先提出 ActiveKD，一个利用大型视觉-语言模型（VLM）的零样本和少样本能力将 AL 与 KD 集成的框架。ActiveKD 的一个关键方面是 VLM 的结构化预测偏差——即它们的预测在概率空间中形成簇。我们将这一结构视为教师模型的归纳偏置，它捕捉了对学生学习有益的可泛化输出模式。为利用这一偏置，我们提出概率核心集（PCoreSet），一种在概率空间而非特征空间中最大化覆盖范围的选择策略。PCoreSet 策略性地选择概率上多样化的未标注样本，从而在有限的标注预算下促进教师知识更高效的迁移。在 11 个数据集上的大量评估表明，ActiveKD 使每种选择方法相较于无蒸馏基线均得到持续提升（例如，在 ImageNet 上平均提升 +29.07%）。在 ActiveKD 下，若干广泛使用的 AL 选择器表现不如 Random，且没有任何一个能持续胜过它；相比之下，PCoreSet 是唯一在 5 个学生模型和 3 个教师模型上均持续优于 Random 的选择器，除前 2 轮 AL 外始终取得最佳性能。我们的代码可在 此 https URL 获取。
| 评论： | 46 页，24 幅图，预印本。更新了稿件和作者单位；澄清了 ActiveKD/PCoreSet 的比较以及 ClassBalanced 基线；扩展了分析和实现细节 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2506.00910 [cs.LG] |
| （或 arXiv:2506.00910v3 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2506.00910 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Seongjae Kang [查看电子邮件]
[v1]
2025 年 6 月 1 日星期日 08:54:37 UTC（15,767 KB）
[v2]
2025 年 10 月 1 日星期三 01:14:57 UTC（15,716 KB）
[v3]
2026 年 10 月 24 日星期六 07:37:20 UTC（15,654 KB）
来源：arXiv cs.AI · arxiv.org