arXiv cs.AI· Rachmad Vidya Wicaksana Putra, Shuochen Zhou, Hassan Raza, Muhammad Shafique·· 11 小时前AI 评分28
ENCL:用局部学习规则与子网络冻结策略实现高效神经形态持续学习
ENCL: Enabling Efficient Neuromorphic Continual Learning with Local Learning Rule and Sub-Network Freezing Strategy
AI 导读
ENCL 提出一种神经形态持续学习(NCL)方法,用时空局部学习规则替代昂贵的全局反向传播代理梯度,并基于任务冻结子网络,无需扩展网络架构。
正文 · AI 翻译
摘要:神经网络中的持续学习(CL)是一种很有前景的学习方法,它能够根据运行时遇到的新数据(这些数据在离线训练阶段未曾学习过)来更新已部署系统的知识。为实现高能效的持续学习处理,近期引入了基于稀疏事件驱动操作的神经形态持续学习(NCL)概念。然而,最先进的 NCL 方法通常采用内存消耗大的数据/经验回放,并结合代价高昂的全局学习规则(即基于反向传播的替代梯度)。为解决这些局限,我们提出 ENCL,一种通过采用轻量级局部学习规则和子网络冻结策略来实现高效 NCL 的新方法。ENCL 利用时间与空间上的局部学习规则,为训练新任务执行高效的信度分配,从而缓解全局学习规则的高昂代价。ENCL 还基于给定任务采用子网络冻结策略,以避免网络架构扩展的需求,从而进一步提升 NCL 训练过程的效率和可扩展性。为高效支持这一点,我们以较少的训练轮数以及调整后的学习率和时间步来训练每个任务。在任务增量学习(TIL)场景下的实验结果表明,与最先进的工作相比,我们的 ENCL 在不同数据集上始终取得强劲性能。具体而言,ENCL 达到了与最先进的数据/经验回放相当的竞争性准确率,同时在各种基准数据集(即 Split MNIST、Split Fashion MNIST、Split CIFAR-10 和 Split CIFAR-100)上将内存成本最多降低 88%、NCL 训练时间最多缩短 51%、平均功耗最多降低 40%、能耗最多降低 65%。
| 评论: | 9 页,6 幅图 |
| 主题: | 神经与进化计算(cs.NE);人工智能(cs.AI);机器学习(cs.LG) |
| 引用为: | arXiv:2610.31927 [cs.NE] |
| (或本版本的 arXiv:2610.31927v1 [cs.NE]) | |
| https://doi.org/10.48550/arXiv.2610.31927 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Rachmad Vidya Wicaksana Putra [查看电子邮件]
[v1]
2026 年 10 月 22 日星期四 21:17:34 UTC(1,069 KB)
来源:arXiv cs.AI · arxiv.org