arXiv cs.AI· Seungyoon Woo, Keonhee Park, Gunhee Kim·· 11 小时前AI 评分29
COMET：解耦蒸馏、路由与容量控制的任务无关持续视觉-语言学习
COMET: Decoupled Distillation, Routing, and Capacity Control for Task-Agnostic Continual Vision--Language Learning
AI 导读
针对 CLIP 等视觉-语言模型在任务无关持续学习中的模态一致性漂移、表征空间干扰和单任务容量不足三大问题，COMET 将特征参考、专家塑造、路由与容量控制解耦设计。
正文 · AI 翻译
摘要：CLIP 等视觉语言模型（VLM）保留了零样本识别能力，但其开放世界应用往往需要与任务无关的持续学习：任务按顺序到达，过去的数据不可用，任务身份未知，且骨干网络无法重新训练。我们认为，这一设定使 VLM 面临超出稳定性-可塑性权衡之外的三种耦合压力而失效：(1) 模态一致性漂移，(2) 表示空间干扰，(3) 逐任务容量不足。我们提出 COMET（协作式专家混合迁移）来分别解决这三个问题。冻结的教师模型仅在共享图文池上提供特征参考；Tri-Affinity Distillation 保持图像-图像、文本-文本和图像-文本几何关系；Student-Aware Cross-Expert Distillation 将新专家与兼容的先前专家对齐，使路由错误能够优雅降级。我们将 COMET 设计为将容量与推理分离：上下文赌博机利用训练后信号保留或合并完整的逐任务专家，而重建路由器在测试时选择稀疏专家，无需教师语义。在 X-TAIL 基准上，我们表明每个提出的组件都能提升持续学习性能。COMET 表明，当特征参考、专家塑造、路由和容量控制从构造上分离时，持续视觉语言适应能够保持多模态几何、协调累积的专家并联合分配容量。
| 评论： | 被 NeurIPS 2026 接收 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.22907 [cs.CV] |
| （或 arXiv:2610.22907v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22907 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Seungyoon Woo [查看电子邮件]
[v1]
2026年10月16日星期五 04:15:49 UTC（4,984 KB）
来源：arXiv cs.AI · arxiv.org