arXiv cs.AI· Anand Swaroop·· 3 天前AI 评分31
Grokking 前潜藏算法结构：ReLU MLP 模运算的机制研究
Latent Algorithmic Structure Precedes Grokking: A Mechanistic Study of ReLU MLPs on Modular Arithmetic
AI 导读
研究发现 ReLU MLP 在模加法任务中学习到的是近二值方波输入权重，中间值权重仅出现在符号变化边界附近，输出权重的傅里叶相位满足 φ_out = φ_a + φ_b 关系，该关系在噪声数据上训练、模型未能 grok 时依然成立。
正文 · AI 翻译
摘要：Grokking——即神经网络在记忆训练数据很久之后，其在两个整数模加任务上的验证准确率才出现上升的现象——在先前的研究中被描述为在 transformer 和多层感知机（MLP）中产生正弦形式的输入权重分布。我们在实验中发现，ReLU MLP 在我们的实验设置下反而学习到近似二值的方波输入权重，其中中间值的权重仅出现在符号变化边界附近，同时输出权重分布的主傅里叶相位满足相位和关系 $\phi_{\mathrm{out}} = \phi_a + \phi_b$；即使模型在噪声数据上训练且未能 grok，这一关系依然成立。我们通过 DFT 提取每个神经元权重的频率和相位，并构建了一个理想化的 MLP：输入权重被替换为完美的二值方波，输出权重被替换为余弦函数，二者均由从真实模型权重的主傅里叶分量中提取的频率、相位和振幅参数化。当频率和相位从一个在噪声数据上训练、自身仅达到 0.23% 准确率的模型权重中提取时，这个理想化模型达到了 95.5% 的准确率。这表明 grokking 并非发现了正确的算法，而是锐化了一个在记忆过程中已大幅编码的算法，逐步将输入权重二值化为更干净的方波并对齐输出权重，直到泛化成为可能。
| 评论： | 9 页，5 幅图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2603.23784 [cs.LG] |
| （或 arXiv:2603.23784v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.23784 arXiv 颁发的 DOI，经由 DataCite |
提交历史
发件人：Anand Swaroop [查看电子邮件]
[v1]
2026 年 3 月 24 日星期二 23:36:26 UTC（123 KB）
来源：arXiv cs.AI · arxiv.org