arXiv cs.AI· Min Chen, Junqi Wang, Zeguan Wu, Wenhao Huang, Junyu Liu·· 2 天前AI 评分31
神经网络中的标度与重整化：用有效重整化群描述 Grokking 现象
Scaling and Renormalization in Neural Networks: An Effective Renormalization-Group Description of Grokking
AI 导读
研究用标度与重整化群（RG）理论定量描述神经网络中的 grokking 现象，即从记忆到泛化的延迟转变。针对两层网络的模加法任务，作者通过损失对每神经元范数的二阶展开构造精确耦合矩阵，并用其 Fiedler 向量定义有效几何，进而执行实空间 RG 块自旋聚合。线性化局部 RG 映射得到相关标度指数与五个导出临界指数，经验估计与 RG 预测吻合在 1-10% 以内。
正文 · AI 翻译
摘要：Grokking 是深度神经网络（NN）中从记忆到泛化的延迟转变。我们考察标度理论与重整化群（RG）理论能否描述这一动力学，从而为神经泛化转变建立定量物理框架。对于两层神经网络上的模加法，训练模型系综定义了一个序参量（权重范数平方）以及热容和磁化率的涨落代理量，训练轮次和权重衰减分别充当热控制坐标和场控制坐标。为将神经架构与实空间 RG 联系起来，我们通过对损失关于逐神经元范数进行二阶展开，构造出精确的耦合矩阵，并用其 Fiedler 向量定义有效几何。这种谱排序产生了耦合强度随空间的单调衰减，而随机置换下不存在这种衰减。随后我们执行实空间 RG：对相邻神经元进行块自旋聚合，并将耦合矩阵参数化为非对角带状强度。对该局部 RG 映射进行线性化，得到相关标度指数和五个导出临界指数，直接经验估计与 RG 预测的偏差在 1-10% 以内。总体而言，我们的框架为 grokking 提供了一致有效的描述，表明标度与重整化群形式体系可作为研究神经网络动力学的工具。
| 评论： | 22 页，10 幅图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；高能物理 - 理论（hep-th）；量子物理（quant-ph） |
| 引用为： | arXiv:2610.36113 [cs.LG] |
| （或 arXiv:2610.36113v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36113 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Min Chen [查看电子邮件]
[v1]
2026 年 10 月 26 日星期一 18:25:08 UTC（3,423 KB）
来源：arXiv cs.AI · arxiv.org