双头优化缓解知识蒸馏梯度冲突

Seongjae Kang 等作者提出双头优化（DHO）方法，为监督信号和蒸馏信号各设一个预测头，以缓解知识蒸馏中两类损失的梯度冲突，从而把视觉语言模型的泛化能力迁移到任务专用小模型。 作者称，DHO 在 15 个数据集上持续优于知识蒸馏基线，学生模型常超过教师模型，并在 ImageNet 半监督学习及 ImageNet 变体分布外泛化上取得新的 SOTA。上述效果均为作者报告的结果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。