arXiv cs.AI· Daniel T. Bernstein, Chase Goddard, Luca Di Carlo, Vudtiwat Ngampruetikorn, David J. Schwab·· 3 天前AI 评分22
Fisher 信息与神经网络记忆的几何结构
Fisher information and the geometry of memorization in neural networks
AI 导读
研究揭示 Fisher 信息可刻画神经网络如何在泛化与记忆之间分配容量。在 CIFAR-10 上训练的视觉模型中，将权重投影到 Fisher 特征向量顶部可解耦通用任务性能与噪声样本记忆，且该效应在不同层表现各异。相同现象在小 Transformer 的合成上下文学习任务及可解析线性模型中均得到复现。
正文 · AI 翻译
摘要：理解机器学习中泛化能力的一个富有成效的方法，是刻画模型如何将可泛化的结构与训练数据中特有的、甚至被损坏的特征区分开来。Fisher 信息已成为实现这种区分的一种诊断工具，它利用损失几何来区分泛化与记忆。本文中，我们在 CIFAR-10 上训练、并带有只能通过记忆才能学到的受控噪声的视觉模型中研究这一联系。我们表明，将模型权重投影到顶部 Fisher 特征向量上，可以将通用任务性能与噪声样本记忆解耦，并且我们研究了这种解耦在不同层之间如何呈现差异。我们表明，在训练用于解决合成上下文学习任务的小型 Transformer 中也存在同样的现象，并在一个简单、可解析求解的线性模型中以闭式形式重现。我们的结果揭示，Fisher 信息捕捉了神经网络如何在泛化与记忆之间分配容量这一底层几何结构的某些方面。
| 评论： | 20 页（正文 10 页），11 幅图（正文 6 幅图），NeurIPS 2026 |
| 主题： | 机器学习（cs.LG）；无序系统与神经网络（cond-mat.dis-nn）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.16161 [cs.LG] |
| （或 arXiv:2610.16161v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16161 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
发件人：Daniel Bernstein [查看电子邮件]
[v1]
2026 年 10 月 12 日星期一 04:34:54 UTC（2,177 KB）
来源：arXiv cs.AI · arxiv.org