arXiv cs.AI· Atreya Vedantam, Nataraj Das, Chandrashekar Lakshminarayanan·· 3 天前AI 评分22
线性模型中的延迟泛化动力学研究
On the Dynamics of Delayed Generalization in Linear Models
AI 导读
研究发现，延迟泛化（训练准确率远早于测试准确率接近完美）可在使用梯度下降和指数尾损失训练的线性模型中、在线性可分数据上出现。作者将有限时间超平面动力学刻画为三个阶段：种群阶段、支持向量主导的遗忘阶段和泛化阶段，并通过对种群与支持向量分布的控制实验验证了该理论，还在 MNIST 上单输出神经元的深度模型中验证了预测的偏置行为。
正文 · AI 翻译
摘要：延迟泛化，即训练准确率在测试准确率之前就已大幅接近完美，通常是在深度网络的深度和组合结构背景下研究的。在本文中，我们探究延迟泛化是否会在更简单的设定中出现。我们表明，它可以在使用梯度下降和指数尾损失函数、在线性可分数据上训练的线性模型中出现。我们将有限时间超平面动力学刻画为三个阶段：总体阶段、支持向量主导的遗忘阶段和泛化阶段。残差在最大间隔方向之外的收敛是遗忘阶段开始的充分条件。在支持向量主导阶段，我们刻画了超平面动力学。这些动力学中的时间尺度导致了延迟泛化。我们通过改变总体分布和支持向量分布的受控实验验证了我们的理论，并进一步在 MNIST 上使用单输出神经元的深度模型中验证了预测的偏置行为。我们的结果为线性模型中延迟泛化背后的渐近和有限时间动力学提供了统一的刻画。
| 评论： | v2：大幅修订和改进的版本 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2602.08302 [cs.LG] |
| （或 arXiv:2602.08302v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.08302 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Atreya Vedantam [查看电子邮件]
[v1]
2026年2月9日星期一 06:16:43 UTC（12,044 KB）
[v2]
2026年10月11日星期日 12:45:29 UTC（640 KB）
[v3]
2026年10月14日星期三 05:57:15 UTC（640 KB）
来源：arXiv cs.AI · arxiv.org