arXiv cs.AI· Nikolaos Gkalelis, Vasileios Mezaris·· 12 小时前AI 评分29
LLaVA-CKD：面向视觉语言模型的自底向上级联知识蒸馏框架
LLaVA-CKD: Bottom-Up Cascaded Knowledge Distillation for Vision-Language Models
AI 导读
研究者提出 LLaVA-CKD 自底向上级联知识蒸馏框架，在容量差距过大的教师模型与学生模型之间引入中间容量教师，逐级缩小差距以改善知识迁移。该方法基于 LLaVA 构建模型，在七个公开 VQA 基准上评测，性能与近期紧凑型 VLM 相当，并附有理论分析说明渐进缩小师生差距为何有效。级联蒸馏源码与训练模型已开源。
正文 · AI 翻译
摘要：大型视觉语言模型（VLM）在解决视觉问答（VQA）等众多视觉语言理解任务方面取得了成功，但其内存和计算需求在实际部署中仍令人担忧。缓解这一担忧的一类有前景的技术是知识蒸馏，即将高容量教师网络的知识迁移到规模小得多的学生网络。然而，两个网络之间的容量差距既是福也是祸：学生网络越小，其效率越高；教师网络越强（通常也越大），其承载的知识越多；但超过一定程度后，两者之间更大的容量差距会导致知识迁移效果变差。为应对这一效应，我们提出了一种自底向上的级联知识蒸馏（CKD）框架。受人类正规教育体系的启发，我们不再将知识迁移视为涉及一个高容量教师（或此类教师的集成）的活动，而是引入一个（可能更多）具有中等容量的额外教师，逐步将学生网络提升到下一水平，届时下一个（更高容量的）教师可以接手。我们提供了理论分析，以说明为何逐步缩小教师-学生差距可能改善蒸馏。我们将所提出的框架应用于基于 LLaVA 方法构建的模型，并在七个公开可用的标准 VQA 基准上评估所得模型，展示了与近期紧凑型 VLM 相比具有竞争力的性能。级联蒸馏的源代码和训练好的模型可在 此 https URL 获取。
| 注释： | IEEE Access，第14卷，2026年 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.10641 [cs.CV] |
| （或此版本的 arXiv:2605.10641v2 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2605.10641 由 DataCite 颁发的 arXiv DOI |
|
| 相关 DOI： | https://doi.org/10.1109/ACCESS.2026.3744200
链接到相关资源的 DOI |
提交历史
来自：Vasileios Mezaris [查看电子邮件]
[v1]
2026年5月11日星期一 14:28:44 UTC（76 KB）
[v2]
2026年10月20日星期二 11:01:38 UTC（8,084 KB）
来源：arXiv cs.AI · arxiv.org