arXiv cs.AI· Xiaoyan Li, Lanpei Li, Massimo Coppola, Vincenzo Lomonaco, Antonio Carta·· 10 小时前AI 评分33
STABLE：带自适应漂移控制的持续学习优化器
STABLE: A Continual Learning Optimizer with Adaptive Drift Control
AI 导读
研究者提出优化器层面的持续学习方案 STABLE，通过原始-对偶框架自适应调节漂移预算，在预算被突破时增大对偶变量、否则减小，从而在不牺牲可塑性的前提下提升稳定性。在长时程单模态流和基于 CLIP 的多模态流实验中，用 STABLE 训练的普通 PEFT 基线达到或超过专用持续学习方法，多模态场景下还保持了零样本迁移能力。该工作已被 NeurIPS 2026 接收，代码已开源。
正文 · AI 翻译
摘要：持续学习会遭受灾难性遗忘，导致过去知识丢失以及跨任务流适应不稳定。现有方法通常通过回放缓冲区、架构改动或额外正则化项来解决这一问题。我们认为遗忘是不稳定学习动态的结果，而这一问题可能受益于优化器层面的解决方案。主要挑战在于学习动态是时间相关的，正如稳定性差距等经验现象所证明的那样。首先，我们正式证明，对于基于距离的分类器，在局部分数稳定性条件下，有界参数漂移可保证有界间隔侵蚀。基于这一洞见，我们提出 STABLE，一种具有自适应漂移控制的原对偶优化器。STABLE 通过在预算被违反时增大对偶变量、否则减小对偶变量来强制执行漂移预算。这在不惩罚可塑性的情况下实现了高稳定性。在长时程单模态流和基于 CLIP 的多模态流上的实验表明，使用 STABLE 训练的普通 PEFT 基线可匹配或优于专门的持续学习方法。在多模态设置中，STABLE 进一步保持了零样本迁移能力，匹配或超过专门的多模态持续学习方法。代码可在 此 https URL 获取。
| 评论： | 已被第 40 届神经信息处理系统大会（NeurIPS 2026）接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2611.10655 [cs.LG] |
| （或此版本的 arXiv:2611.10655v2 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2611.10655 arXiv 颁发的 DOI（通过 DataCite） |
提交历史
来自：Lanpei Li [查看电子邮件]
[v1]
2026 年 11 月 7 日星期六 11:01:52 UTC（428 KB）
[v2]
2026 年 11 月 10 日星期二 10:00:14 UTC（428 KB）
来源：arXiv cs.AI · arxiv.org