arXiv cs.AI· Ling-Xiang Zhang, Tao Hu, Da-Wei Zhou·· 2 天前AI 评分22
CART：面向多模态持续指令微调的兼容路由方法
CART: Compatible Routing for Multimodal Continual Instruction Tuning
AI 导读
针对多模态持续指令微调中投影器与语言模型非对称适配导致的表征漂移和灾难性遗忘问题，研究者提出兼容路由 CART，为两个模块分别维护任务专属专家并通过加权混合组合，同时考虑专家相关性与跨模块兼容性来联合推断权重。CART 还引入相关性引导的专家合并机制以控制模型规模增长，实验显示其达到 SOTA 性能。
正文 · AI 翻译
摘要：多模态大语言模型（MLLMs）通过指令微调取得了强劲的性能，然而现实应用往往要求它们从顺序任务中持续获取新能力，即多模态持续指令微调（MCIT）。在典型的 MLLMs 中，投影器被用于将视觉表示与语言模型对齐。然而，现有方法主要在持续跨任务更新投影器的同时保护语言模型免受遗忘。这种非对称适应可能导致投影器中出现显著的表示漂移，增加投影器与语言模型之间的不匹配，从而加剧灾难性遗忘。为解决这一问题，我们提出了兼容路由（CART），它显式地协调投影器和语言模型的适应。具体而言，CART 为两个模块分别维护任务特定的专家，并通过加权混合将它们组合起来。CART 通过同时考虑专家相关性和跨模块兼容性来联合推断它们的权重，从而促进两个模块之间的协调适应。为了进一步控制模型增长，我们引入了相关性引导的专家合并，它在每个模块内合并跨样本表现出相似相关性特征的专家。大量实验表明，CART 达到了最先进的性能。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.22137 [cs.AI] |
| （或 arXiv:2610.22137v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22137 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Ling-Xiang Zhang [查看邮箱]
[v1]
2026年10月15日星期四 16:11:22 UTC（486 KB）
来源：arXiv cs.AI · arxiv.org