arXiv cs.AI· Lhea Beumer, Sander de Haan, Niclas Pokel, Pau Vilimelis Aceituno, Benjamin F. Grewe·· 1 天前AI 评分31
Natural PC：通过侧向电路在预测编码中实现自然梯度学习
Natural Gradient Learning in Predictive Coding through Lateral Circuits
AI 导读
研究者提出 Natural PC，在标准预测编码（PC）中加入侧向电路，可在空间和时间上局部、精确且高效地实现自然梯度学习，侧向电路学习决定 Fisher 信息矩阵的活动相关性并隐式计算其逆，避免昂贵的矩阵求逆。
正文 · AI 翻译
摘要：预测编码（PC）通过局部能量最小化动力学训练神经网络，而不依赖于反向传播（BP）所需的全局误差信号。尽管 PC 是一种有望实现高效学习的有前景的替代算法，但在实践中，推理动力学的计算成本目前超过了由此带来的学习收益。在这项工作中，我们从优化理论中汲取灵感，以从每个推理阶段中提取更多的学习收益。我们引入了 Natural PC，它通过增加一个横向电路来增强标准 PC，从而在空间和时间上局部实现精确且高效的自然梯度学习。我们的横向电路学习决定 Fisher 信息矩阵的活动相关性，并隐式计算其逆矩阵，避免了昂贵的矩阵求逆。在所有测试的图像重建基准上，与现有 PC 方法相比，Natural PC 在样本效率和计算效率方面均达到了最先进水平。最值得注意的是，Natural PC 可扩展到 ImageNet，并在计算成本低一个数量级、训练样本少两个数量级的情况下，达到与使用 AdamW 和各种二阶优化器训练的 BP 相当的性能。我们的结果表明，局部自然梯度学习使 PC 在重建任务中的样本效率和计算成本方面均可与 BP 相竞争。
| 主题： | 人工智能（cs.AI） |
| MSC 分类： | 68T07, 92B20 |
| ACM 分类： | I.2.6; G.1.6 |
| 引用为： | arXiv:2611.16666 [cs.AI] |
| （或 arXiv:2611.16666v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.16666 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sander De Haan [查看电子邮件]
[v1]
2026年11月12日星期四 11:42:17 UTC（794 KB）
来源：arXiv cs.AI · arxiv.org