arXiv cs.AI· Israel Mason-Williams, Gabryel Mason-Williams, Helen Yannakoudakis·· 3 天前AI 评分22
从函数中心视角重新审视平坦与尖锐极小值
A Function-Centric Perspective on Flat and Sharp Minima
AI 导读
一项被 TMLR 接收的研究重新审视了尖锐度与模型性能的关系，提出将极小值几何视为依赖函数的性质，而非泛化能力的直接指标。在单目标优化、合成非线性二分类及现代图像分类任务中，研究发现更尖锐的极小值常在权重衰减、数据增强或 SAM 等正则化下出现，并可与更好的泛化、校准、鲁棒性和函数一致性同时发生。作者据此认为，平坦性不应被当作泛化的通用代理，呼吁以函数为中心重新评估极小值几何。
正文 · AI 翻译
摘要：平坦极小值与深度神经网络中泛化能力的提升密切相关。然而，近期研究表明这种联系颇为微妙，文献中既出现了理论反例，也出现了经验上的例外。在本文中，我们重新审视锐度在模型性能中的作用，并将锐度视为一种依赖于函数的属性，而非泛化不良的直接指标。我们开展了广泛的实证研究，涵盖单目标优化、合成非线性二分类任务以及现代图像分类任务。在单目标优化中，我们表明平坦性与锐度是相对于所学习函数而言的：同等最优的解可能表现出显著不同的局部几何结构。在合成非线性二分类任务中，我们表明即使模型完美泛化，增加决策边界的紧致度也可能增加锐度，这表明锐度不能仅归结为记忆化。最后，在大规模实验中，我们发现当模型被正则化时（例如通过权重衰减、数据增强或 SAM），往往会出现更锐利的极小值，并且可能与更好的泛化、校准、鲁棒性和函数一致性同时出现。我们的发现与以函数为中心的极小值几何解释相一致：平坦性不应被视为泛化的通用代理，更锐利的极小值可以反映与改进预测行为相关的理想归纳偏置，这呼吁对极小值几何进行以函数为中心的重新评估。
| 评论： | 45 页，48 张表，17 幅图，已被 Transaction on Machine Learning Research (TMLR) 接收 |
| 主题： | 机器学习 (cs.LG)；人工智能 (cs.AI)；计算机视觉与模式识别 (cs.CV) |
| 引用为： | arXiv:2510.12451 [cs.LG] |
| （或 arXiv:2510.12451v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2510.12451 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Israel Mason-Williams [查看电子邮件]
[v1]
2025 年 10 月 14 日星期二 12:33:14 UTC（2,373 KB）
[v2]
2026 年 4 月 15 日星期三 09:43:26 UTC（5,563 KB）
[v3]
2026 年 10 月 11 日星期日 17:28:39 UTC（5,569 KB）
来源：arXiv cs.AI · arxiv.org