arXiv cs.AI· Daniel Levine, David van Dijk, Kenneth Kay·· 1 天前AI 评分31
AutoHebb：可零样本推理与持续学习的自修改神经网络
AutoHebb: Self-Modifying Neural Networks that Zero-Shot Infer and Continually Learn
AI 导读
研究者提出 AutoHebb，一类在线学习的前馈神经网络，通过外部反馈与内部生成活动产生全局学习信号（神经调质），门控三因子 Hebbian 局部学习规则来更新可塑性权重。借助元学习搜索固定权重后，AutoHebb 在零样本推理任务上成功，并涌现出未经训练的零样本推理与持续学习能力，表现优于现代学习模型。消融对比显示元学习、Hebbian 可塑性和学习自主控制三者缺一不可。
正文 · AI 翻译
摘要：人类和动物具有在新环境中泛化和学习的独特能力，包括“0-shot”推理（ZI）和持续学习（CL）——两种强大的认知能力。尽管这些能力如此重要，对 ZI 和 CL 进行建模的努力在几个方面受到严重限制。首先，现有模型通常缺乏大脑中 ZI 和 CL 所必需的关键组件，即强归纳偏置（用于 ZI）和学习自主控制（用于 CL）。其次，如果模型组件过于复杂（缺乏简洁性），模型可能难以分析；如果模型组件过于定制化（缺乏表达力），则可能过于受任务限制。在此，我们引入自主 Hebbian 网络（“AutoHebb”），这是一类在线学习前馈神经网络，实现了强归纳偏置和自主控制的学习，并且既简单又富有表达力。与通过外部控制的优化（例如梯度下降）进行学习的标准模型不同，AutoHebb 网络将外部反馈与内部生成的活动相结合，产生一个全局学习信号（“神经调质”），并反馈给网络。神经调质反过来门控一个基于生物学的局部学习规则（三因子 Hebbian 规则），该规则更新网络的可塑性权重。使用元学习来搜索固定的（非可塑性）权重，我们发现 AutoHebb 网络（1）在 ZI 任务上成功，（2）表现出涌现的（未经训练的）ZI/CL 能力，（3）可逆向工程为显式算法，（4）在 ZI/CL 任务上优于现代学习模型。最后，与相关模型的性能比较表明，三个模型组件具有关键作用：元学习、Hebbian 可塑性和学习的自主控制。这些发现表明，AutoHebb 可能有助于假设生成、分析以及发现基于生物学的学习和泛化形式。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；神经与进化计算（cs.NE） |
| 引用为： | arXiv:2610.40757 [cs.LG] |
| （或 arXiv:2610.40757v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.40757 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Daniel Levine [查看电子邮件]
[v1]
2026年10月29日星期四 16:57:55 UTC（2,949 KB）
来源：arXiv cs.AI · arxiv.org