SD-LoRA:训练时蒸馏结构、推理仅用LoRA的少样本视觉语言适配
热点事件持续更新
SD-LoRA:训练时蒸馏结构、推理仅用LoRA的少样本视觉语言适配
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Mohammed Rahman Sherif Khan Mohammad 等作者提出并发布 SD-LoRA,一种用于少样本视觉-语言适配的结构蒸馏框架。其做法是在训练时用异构图教师建模 patch-patch、全局-局部与视觉-文本关系,再通过隐式蒸馏和原型预测对齐,把结构偏置迁移进 CLIP-LoRA 主干。 作者称,推理时丢弃图教师,只需一次 CLIP-LoRA 前向和缓存分类器,即可完成适配。目前公开信息为方法描述,尚未给出与其他方法对比的效果数据。
AI 根据报道生成 · 1 小时前更新
最新进展11月6日 13:00
SD-LoRA:将训练时结构蒸馏进 LoRA,实现少样本视觉-语言适配报道时间线
沿着报道,了解事件的不同侧面。
11月6日
- arXiv cs.AISD-LoRA:将训练时结构蒸馏进 LoRA,实现少样本视觉-语言适配
SD-LoRA 提出一种结构蒸馏框架,训练时用异构图教师建模 patch-patch、全局-局部与视觉-文本关系,再通过隐式蒸馏和原型预测对齐把结构偏置迁移进 CLIP-LoRA 主干,推理时丢弃图教师,仅需一次 CLIP-LoRA 前向和缓存分类器。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。