arXiv cs.AI· Kamil Faber, Katarzyna Filus, {\L}ukasz Pawela·· 11 小时前AI 评分31
SAGA：用稀疏自编码器诱导局部几何缓解灾难性遗忘
Sparse Autoencoders Can Induce Local Geometry for Mitigating Catastrophic Forgetting
AI 导读
研究者提出稀疏自编码器几何锚定（SAGA），将每个任务边界训练的 SAE 转化为对表示漂移的局部低秩约束，且后续任务训练无需保留该 SAE。
正文 · AI 翻译
摘要：灾难性遗忘仍然是监督式持续学习中的一个挑战，因为适应新任务会导致表征漂移并丢失先前学到的信息。这引出了一个问题：在保持可塑性的同时，应当约束哪些表征变化。因此，我们提出了稀疏自编码器几何锚定（SAGA），它将每个任务边界处训练的稀疏自编码器（SAE）转换为对表征漂移的局部低秩约束。回放样本指定了约束应用的位置，而编码器雅可比矩阵的主要右奇异方向则指定了哪些变化受到惩罚。由此产生的几何结构依赖于输入，并且无需保留 SAE 即可用于后续任务的训练。我们建立了其与潜在代码匹配的局部关系，定义了其谱截断误差，并推导了冻结读出漂移的条件界。借助回放和快照历史，在三个预训练 ViT-B/16 基准上，该方法在评估的 ER、DER++、ER-ACE 和 SGD 基线中取得了最高的平均 Class-IL 准确率和最低的平均遗忘率，在 CIFAR-100、CUB-200 和 ImageNet-R 上分别比最强的传统基线高出 12.15、4.79 和 3.22 个百分点。从头训练的结果则更为参差，而秩消融和几何控制表明，SAE 诱导的低秩几何结构提供了有用的稳定性-可塑性权衡。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| MSC 分类： | 68T05, 68T07 |
| ACM 分类： | I.2.6 |
| 引用为： | arXiv:2610.22439 [cs.LG] |
| （或 arXiv:2610.22439v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22439 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Kamil Faber [查看电子邮件]
[v1]
2026年10月15日星期四 14:42:23 UTC（67 KB）
来源：arXiv cs.AI · arxiv.org