冻结多模态基础模型用于音视频类增量学习

Avi Gupta 等作者提出一个框架，把冻结的多模态基础模型（MFMs）用于音视频类增量学习（CIL）。框架用注意力上下文引导模块，让音频表示作为任务稳定的上下文来引导视觉表示，并结合特征级与 logit 级知识蒸馏缓解灾难性遗忘。作者称，该方法在多个音视频 CIL 基准上持续优于现有最优方法（SOTA）。该工作已被 WACV 2027 接收，代码已公开。

AI 根据报道生成 · 55 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。