arXiv cs.AI· Yanyang Xiao·· 2 天前AI 评分22
浅层神经网络为何先学正弦分量：一个正交多项式动力学框架
Why Shallow Neural Networks Learn Sinusoidal Components First: An Orthogonal Polynomial Dynamics Framework
AI 导读
该研究用正交多项式基将网络输出展开为广义傅里叶级数，把梯度下降动力学写成常微分方程，通过分析动力学矩阵 H 的特征值衰减与特征向量形状来解释频谱偏置。该框架可推广到 sigmoid、ReLU 等一般激活函数，对数据分布假设较弱，并避免有限域傅里叶分析中的混叠效应。
正文 · AI 翻译
摘要：神经网络通常先学习低频成分，再学习高频成分——这一现象被称为频谱偏置，或称为 F 原理。许多数值研究已经证明了这一现象，理论研究也试图对其进行解释。然而，若干目标仍未得到充分解决：(1) 渐近地解释频谱偏置，包括其起源以及为何偏好的成分通常是正弦形式的；(2) 将该解释推广到一般激活函数，例如 sigmoid 和 ReLU；(3) 对数据分布作出较弱的假设；(4) 避免混叠效应，例如有限域傅里叶分析中出现的混叠效应；(5) 建立一个适用于任意网络的理论框架。我们通过分析动力学矩阵 H 的特征值衰减和特征向量形状，从理论上解决这些目标；该矩阵 H 出现在我们将网络输出在正交多项式基中展开为一般傅里叶级数（GFS），并将 GFS 系数的梯度下降动力学表示为常微分方程之时。H 的分级结构使频谱偏置能够得到直观解释，而正交多项式理论有助于我们分析学习偏置如何依赖于激活函数，并可能依赖于网络架构。
| 评论： | 15 页，0 幅图。主要草稿可追溯至 2019 年，新增了摘要和引言部分 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；谱理论（math.SP）；机器学习（stat.ML） |
| MSC 分类： | 68T07 |
| 引用为： | arXiv:2610.21964 [cs.LG] |
| （或 arXiv:2610.21964v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21964 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Yanyang Xiao [查看电子邮件]
[v1]
2026 年 10 月 15 日星期四 14:23:15 UTC（40 KB）
来源：arXiv cs.AI · arxiv.org