DRAPE：多模态持续指令微调的动态提示生成框架

Tao Hu 与 Da-Wei Zhou 提出 DRAPE，一个面向多模态持续指令微调（MCIT）的提示学习框架。与从固定提示池中选取任务级提示不同，DRAPE 针对每个查询-图像对合成实例级连续软提示：用文本指令生成提示查询，再通过交叉注意力对齐视觉 patch 特征。 为缓解持续学习中的遗忘，该方法对共享投影器施加零空间梯度投影，并用基于 CLIP 的原型路由在推理时选择生成器，无需任务标签。上述设计均为作者在论文中的表述，尚未见独立验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。