arXiv cs.AI· Avi Gupta, Nilotpal Sinha, Vishnu Raj, Sambuddha Saha, Pratik Joshi, Koteswar Rao Jerripothula, Tammam Tillo·· 11 小时前AI 评分20
冻结多模态基础模型如何泛化到音视频类增量学习
Generalizing Multimodal Foundational Models in Context-Driven Class Incremental Learning
AI 导读
研究提出一个将冻结的多模态基础模型（MFMs）泛化到音视频类增量学习（CIL）的框架，利用注意力上下文引导模块让音频表示作为任务稳定的上下文引导视觉表示。方法结合特征级与 logit 级知识蒸馏以缓解灾难性遗忘，在多个音视频 CIL 基准上持续优于 SOTA。该工作已被 WACV 2027 接收，代码已公开。
正文 · AI 翻译
摘要：类增量学习（CIL）旨在持续学习新类别而不遗忘此前学到的类别。近期 CIL 的研究在多种模态上取得了显著进展；然而，在视听模态的交叉领域，该问题仍未得到充分探索。尽管多模态基础模型（MFM）的表征蕴含丰富的静态先验，我们的初步分析表明，这些表征在增量场景中表现不佳。受此启发，我们提出了一个将冻结的 MFM 泛化到视听 CIL 的框架。具体而言，我们利用其稠密的音频与视觉表征，并采用基于注意力的上下文引导模块，其中音频表征作为视觉表征的任务稳定上下文引导，从而在增量场景中实现有效的类别识别。为进一步缓解灾难性遗忘并保持跨任务的稳定性，我们采用了特征级与 logit 级蒸馏，这两者是减少遗忘的主要因素。在多个视听 CIL 基准上的大量评估表明，我们的方法持续优于最先进的方法。代码可在 此 https URL 获取。
| 评论： | 本工作已被 WACV 2027 接收 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.27298 [cs.CV] |
| （或 arXiv:2610.27298v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.27298 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Avi Gupta [查看邮箱]
[v1]
2026年10月19日 星期一 21:13:45 UTC（2,658 KB）
来源：arXiv cs.AI · arxiv.org