arXiv cs.AI· Tao Hu, Da-Wei Zhou·· 12 小时前AI 评分20
DRAPE：面向多模态持续指令微调的动态跨模态提示生成框架
Dynamic Cross-Modal Prompt Generation for Multimodal Continual Instruction Tuning
AI 导读
DRAPE 提出一种提示学习框架，为多模态持续指令微调（MCIT）按查询-图像对合成实例级连续软提示，而非从固定池中选取任务级提示。该方法用文本指令生成提示查询并交叉注意力到视觉 patch 特征，同时对共享投影器施加零空间梯度投影、并用基于 CLIP 的原型路由实现推理时无需任务标签的生成器选择。
正文 · AI 翻译
摘要：多模态大语言模型（MLLMs）通过指令微调取得了强劲的性能，但实际部署往往需要跨顺序任务持续扩展能力。在此类场景中，多模态持续指令微调（MCIT）旨在获取新能力的同时限制灾难性遗忘。现有方法主要遵循模块组合范式：它们维护任务级提示或 LoRA 专家，并在推理时动态路由或聚合其中的一个子集。然而，同一任务内的样本在视觉场景、问题意图和推理需求上仍可能差异很大。这促使我们针对单个查询-图像对进行实例级适配，而不仅仅是在任务级模块中进行选择或组合。为此，我们提出 DRAPE（动态跨模态提示生成），一种为 MCIT 合成连续实例特定软提示的提示学习框架。DRAPE 不从固定池中选择提示，而是从文本指令中导出提示查询，并对视觉图块特征进行交叉注意力，从而生成以查询-图像对为条件、并前置到冻结 LLM 的提示。为缓解顺序更新过程中的遗忘，DRAPE 对共享投影器应用零空间梯度投影，并在推理时使用基于 CLIP 的原型路由进行无需任务标签的生成器选择。在 MCIT 基准上的大量实验表明，DRAPE 在代表性的基于提示和基于 LoRA 的持续学习基线中达到了最先进的性能。代码可在以下地址获取：this https URL。
| 评论： | 已被 NeurlPS 2026 接收。代码可在 this https URL 获取 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2605.10765 [cs.CV] |
| （或此版本的 arXiv:2605.10765v2 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2605.10765 arXiv 颁发的 DOI（通过 DataCite） |
提交历史
来自：Tao Hu [查看邮箱]
[v1]
2026年5月11日星期一 15:59:06 UTC（1,621 KB）
[v2]
2026年10月20日星期二 13:03:32 UTC（1,796 KB）
来源：arXiv cs.AI · arxiv.org