arXiv cs.AI· Mohammed Rahman Sherif Khan Mohammad, Ardhendu Behera, Sandip Pradhan, Swagat Kumar, Yonghuai Liu·· 11 小时前AI 评分31
SD-LoRA：将训练时结构蒸馏进 LoRA，实现少样本视觉-语言适配
SD-LoRA: Training-Time Structural Distillation into LoRA for Few-Shot Vision-Language Adaptation
AI 导读
SD-LoRA 提出一种结构蒸馏框架，训练时用异构图教师建模 patch-patch、全局-局部与视觉-文本关系，再通过隐式蒸馏和原型预测对齐把结构偏置迁移进 CLIP-LoRA 主干，推理时丢弃图教师，仅需一次 CLIP-LoRA 前向和缓存分类器。
正文 · AI 翻译
摘要：视觉语言模型的少样本适应必须平衡两个相互竞争的目标：从非常有限的监督中学习细粒度的视觉区分，以及保持使冻结的类 CLIP 模型具有部署吸引力的效率。现有的轻量级适应方法，包括提示调优、LoRA 和基于缓存的适配器，通常监督全局图像嵌入，因此未充分利用 token 级结构。相反，结构感知方法利用局部证据，但通常会引入额外的推理时计算。我们提出 SD-LoRA，一种结构蒸馏框架，仅在训练期间使用 token 级图推理，并将其效果转移到轻量级 LoRA 适应的 CLIP 模型中。在训练期间，异构图教师模型在高分辨率 ViT token 上建模 patch-patch、全局-局部和视觉-文本关系。SD-LoRA 不在测试时保留该图，而是通过隐式蒸馏和原型预测对齐（将图条件表示与支持集导出的类原型对齐）将其结构偏置转移到共享的 CLIP-LoRA 主干中。在推理时，图教师模型被丢弃；预测仅需要一次 CLIP-LoRA 前向传递和基于缓存的分类器。在 11 个少样本基准上，SD-LoRA 在 1/2/4/8/16-shot 设置下分别比强 CLIP-LoRA 基线提高了 2.4/1.8/3.0/2.4/2.0 个百分点，且测试时无需额外的图计算。在基类到新类泛化、跨数据集迁移、分布外鲁棒性和校准方面的结果进一步表明，训练时的结构监督提高了准确性和迁移可靠性。代码可在 此 https URL 获取。
| 评论： | 已被 NeurIPS 2026 接收 |
| 主题： | 计算机视觉与模式识别 (cs.CV)；人工智能 (cs.AI) |
| 引用为： | arXiv:2611.07063 [cs.CV] |
| （或 arXiv:2611.07063v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07063 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Mohammed Rahman Sherif Khan Mohammad [查看电子邮件]
[v1]
2026 年 11 月 4 日星期三 19:22:47 UTC（6,805 KB）
来源：arXiv cs.AI · arxiv.org