arXiv cs.AI· Chashi Mahiul Islam, Samuel Jacob Chacko, Mao Nishino, Canlin Zhang, Xiuwen Liu·· 11 小时前AI 评分31
Neural Expansion：深度神经网络泛化机制的统一几何框架
Neural Expansion: A Unified Mechanism for How Deep Neural Networks Generalize
AI 导读
研究者提出 Neural Expansion 几何框架，用 Generalization Intervals（GIs）量化训练样本周围预测保持稳定的方向性区域，发现训练会沿 Jacobian 奇异值低的方向逐步扩展射线覆盖范围。该机制可解释大部分正确分类的测试输入、对抗样本乃至错标和分布外样本，论文已被 NeurIPS 2026 接收。
正文 · AI 翻译
摘要：深度神经网络尽管高度过参数化，却表现出卓越的泛化能力，这挑战了传统统计学习理论。虽然基于间隔的界、PAC-Bayesian 分析和神经正切核等若干理论范式提供了全局解释，但它们往往缺乏对泛化如何从训练动态中涌现的机制性洞察。我们提出神经扩展（Neural Expansion），一个统一的几何框架，通过输入空间中方向选择性射线覆盖的扩展来刻画泛化。利用泛化区间（Generalization Intervals, GIs），我们量化训练样本周围模型预测保持稳定的方向特定区域。我们在多种架构和数据集上的广泛实证研究表明，训练会导致射线覆盖的渐进扩展，尤其是沿 Jacobian 奇异值较低的方向。这一机制有助于通过射线覆盖的几何结构而非实例级记忆来解释很大一部分正确分类的测试输入、对抗样本，甚至错误标注或分布外样本。通过将输入空间曲率与预测行为联系起来，我们的框架提供了补充现有深度学习全局理论的机制性基础。
| 评论： | 已被 NeurIPS 2026 接收。包含补充材料。代码：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.23716 [cs.LG] |
| （或 arXiv:2610.23716v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.23716 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chashi Mahiul Islam [查看电子邮件]
[v1]
2026年10月16日星期五 16:38:02 UTC（2,138 KB）
来源：arXiv cs.AI · arxiv.org