研究用重整化群框架定量描述神经网络grokking现象

1. 12:00
   arXiv cs.AI

   神经网络中的标度与重整化：用有效重整化群描述 Grokking 现象

   研究用标度与重整化群（RG）理论定量描述神经网络中的 grokking 现象，即从记忆到泛化的延迟转变。针对两层网络的模加法任务，作者通过损失对每神经元范数的二阶展开构造精确耦合矩阵，并用其 Fiedler 向量定义有效几何，进而执行实空间 RG 块自旋聚合。线性化局部 RG 映射得到相关标度指数与五个导出临界指数，经验估计与 RG 预测吻合在 1-10% 以内。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。