arXiv cs.AI· Zhen Zhang, Jielei Chu, Jiangtao Hu, Bin Liu, Jie Wang, Ya Liu, Fengmao Lv, Tianrui Li·· 10 小时前AI 评分18
基于反事实特征正则化的扩展式类增量学习方法
Counterfactual Feature Regularization for Expansion-Based Class-Incremental Learning
AI 导读
针对扩展式类增量学习中新任务特征与旧特征碰撞的问题,研究者提出基于必要性与充分性概率(PNS)的正则化方法 CPNS,从任务内与任务间两个层面量化特征的因果完整性与可分离性。该方法借助双网络反事实生成器同时生成任务内反事实特征与任务间干扰特征,以降低两类 PNS 风险,且为即插即用模块。理论分析与实验均验证了其有效性。
正文 · AI 翻译
摘要:当前基于扩展的类增量学习(CIL)方法通过冻结旧特征有效缓解了灾难性遗忘。然而,从新任务中学到的这种任务特定特征可能与旧特征发生冲突。从因果视角看,虚假的特征相关性是这种冲突的主要原因,体现在两个层面:(i)在经验风险最小化(ERM)的引导下,任务内虚假相关性导致任务特定特征依赖捷径特征。这些非鲁棒特征易受干扰,不可避免地漂移到其他任务的特征空间中;(ii)任务间虚假相关性导致跨任务中视觉相似类别之间的语义混淆。为解决这一问题,我们提出了一种基于必要性与充分性概率(PNS)的正则化方法,用于引导 CIL 中的特征扩展。具体而言,我们首先将 PNS 的定义扩展到基于扩展的 CIL,称为 CPNS,它量化了任务内表示的因果完备性和任务间表示的可分离性。然后,我们引入了一种基于孪生网络的双层面反事实生成器,以确保 CPNS 的度量,该生成器同时生成:(i)任务内反事实特征,以最小化任务内 PNS 风险并确保任务特定特征的因果完备性;(ii)任务间干扰特征,以最小化任务间 PNS 风险,确保任务间表示的可分离性。理论分析证实了其可靠性。该正则化是一种即插即用的方法,用于基于扩展的 CIL 以缓解特征冲突。大量实验证明了所提方法的有效性。
| 学科: | 机器学习(cs.LG);人工智能(cs.AI) |
| 引用为: | arXiv:2603.09145 [cs.LG] |
| (或 arXiv:2603.09145v4 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2603.09145 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Zhen Zhang [查看邮箱]
[v1]
2026年3月10日 星期二 03:33:33 UTC(2,766 KB)
[v2]
2026年4月13日 星期一 12:23:08 UTC(4,724 KB)
[v3]
2026年4月29日 星期三 07:50:12 UTC(14,469 KB)
[v4]
2026年11月18日 星期三 01:38:09 UTC(14,795 KB)
来源:arXiv cs.AI · arxiv.org