arXiv cs.AI· Giulia Lanzillotta, Mandana Samiei, Doina Precup, Razvan Pascanu, Claire Vernade·· 12 小时前AI 评分31
持续学习该保留还是适应？重新审视以保留为中心的目标
To Retain or to Adapt? Generalizing Continual Learning
AI 导读
研究挑战持续学习以缓解灾难性遗忘为核心的前提，指出在非平稳环境中过度保留历史知识会阻碍实时适应，转而以平均终身误差（ALE）为目标将持续学习形式化为在线优化问题。
正文 · AI 翻译
摘要：持续学习（CL）文献长期以来一直以缓解灾难性遗忘为目标。这一目标建立在一个往往未被言明的假设之上：终身学习者应当逼近联合任务学习（JTL）的解，并保留所有先前获得的知识。我们质疑这一以保留为中心的前提，认为在非平稳环境中，优先考虑保留可能会妨碍实时适应。我们将关注点转向平均终身误差（ALE），把持续学习形式化为一个由环境动态与学习动态相互作用所支配的在线优化问题。我们引入迁移效率，作为对不稳定性（从相互冲突的过往经验中继承的偏差）与瞬态误差（从头学习新任务的优化成本）之间张力的定量度量。在温和的收敛条件下，该分解在线性模型和神经网络模型中均成立，并由此得出一个临界任务时长：这是一个闭式阈值，一旦超过该阈值，只要保留会引入正的平稳偏差，历史知识就会从热启动优势转变为优化负担。我们在持续图像分类和强化学习基准上验证了这些理论预测。最后，通过将持续学习与可预测序列的在线学习框架联系起来，我们表明 JTL 只是更广泛目标族中的一个实例，并提出了一类新的通用持续学习算法，我们称之为预测式持续学习。预测式持续学习算法在显式且动态更新的未来任务模型下优化预期未来性能。作为概念验证，我们分析了一种在 JTL 与独立任务学习（ITL）之间进行插值的窗口算法，在受控的分布漂移下，该算法优于两者。
| 评论： | 此 https URL |
| 主题： | 机器学习（stat.ML）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2607.05609 [stat.ML] |
| （或 arXiv:2607.05609v2 [stat.ML] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.05609 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | Transactions on Machine Learning Research, 2026 |
提交历史
来自：Mandana Samiei [查看电子邮件]
[v1]
2026年7月6日星期一 20:11:53 UTC（23,602 KB）
[v2]
2026年10月21日星期三 16:55:11 UTC（26,064 KB）
来源：arXiv cs.AI · arxiv.org