arXiv cs.AI· Luis Wiederhold, Nil Ayday, Debarghya Ghoshdastidar·· 3 天前AI 评分18
将宽神经网络有限样本高斯近似提升为函数收敛
Lifting Finite-Sample Gaussian Approximation of Wide Neural Networks to Functional Convergence
AI 导读
该论文将宽神经网络的有限样本高斯近似界提升为函数型界：通过细化样本集使其在定义域上稠密，并以逐样本误差度量使常数与样本数无关。对多项式激活函数和任意紧致输入集，在超范数下得到 m^{-1/2} 的收敛速率及显式常数。
正文 · AI 翻译
摘要：宽度为 $m$ 的随机初始化神经网络在 $m \to \infty$ 时收敛于高斯过程，刻画这一收敛有两类定量界。有限样本界在任意域上、在二次 Wasserstein 距离 $\mathcal W_2$ 下，将网络与其高斯极限在固定有限样本集上进行比较，达到 $m^{-1/2}$ 的收敛速率，且常数显式。然而，这些常数随样本数量增长，因此当样本集细化时该界变得无信息。函数界通过将二者作为随机函数进行比较来消除这种依赖，代价是要求球面输入、度量弱于 $\mathcal W_2$，或速率更慢。因此，在本文中我们将有限样本界提升为函数界。该提升过程不断细化样本集，直至其在域中稠密，因此必须首先使该界独立于样本数量。我们通过度量每个样本的误差来实现这一点，从而使常数一致。对于多项式激活函数和任意紧输入集，这在一致范数下给出 $m^{-1/2}$ 的速率，且常数显式。
| 评论： | 19 页，1 个表格，1 幅图，预印本 |
| 主题： | 机器学习（stat.ML）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.18166 [stat.ML] |
| （或 arXiv:2610.18166v1 [stat.ML] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18166 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Nil Ayday [查看邮箱]
[v1]
2026 年 10 月 13 日星期二 11:10:44 UTC（34 KB）
来源：arXiv cs.AI · arxiv.org