arXiv cs.AI· Yunji Wang, Junjie Yao, Linyu Liu, Pinyan Lu, Zhi-Qin John Xu·· 9 天前AI 评分21
概率签名动力学：两层网络如何学会模加法
Probability-Signature Dynamics: Unpacking Modular Addition Learning Within Two-Layer Networks
AI 导读
研究用"概率签名"方法揭示两层网络学习模加法的机制：梯度交互由训练分布的循环移位算子表达，并被离散傅里叶变换对角化，从而近似解耦出各傅里叶模态动力学，解释了傅里叶稀疏性、频率匹配与相位对齐的出现。该框架还解释了标签噪声下受损样本早期损失下降快于干净样本的现象——噪声增加条件标签碰撞、强化早期共享坐标。以 XOR 为例的实验也观察到预测频率。
正文 · AI 翻译
摘要：在模加法任务上训练的神经网络通常会形成傅里叶结构化的表示，从而支持精确泛化。尽管此前的工作已经识别出这些傅里叶电路，但基于梯度的训练如何从数据分布中选出它们，其机制仍不清楚。我们使用概率签名来回答这个问题，概率签名通过训练分布的条件统计量来表达主导的梯度交互。对于模加法，这些签名是循环移位算子，并可由离散傅里叶变换对角化，从而得到近似解耦的傅里叶模态动力学。这解释了傅里叶稀疏性、频率匹配和相位对齐的出现。同一框架还解决了标签噪声下的一个谜题：被污染的样本尽管缺乏一致的泛化规则，却可能比干净样本表现出更快的早期损失下降。我们表明，噪声增加了条件标签碰撞，从而加强了早期共享坐标的强化。最后，该方法可应用于其他算子。以 XOR 为例，我们在实验中观察到了预测的频率。
| 评论： | 36 页，18 幅图。已投稿至 ICLR 2027 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.11833 [cs.AI] |
| （或 arXiv:2610.11833v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11833 arXiv 颁发的 DOI，通过 DataCite（待注册） |
提交历史
发件人：Yunji Wang [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 12:27:35 UTC（760 KB）
来源：arXiv cs.AI · arxiv.org