arXiv cs.AI· Fares B. Mehouachi, Saif Eddin Jabari·· 11 小时前AI 评分22
用无噪声 l^p 范数控制缓解快速对抗训练中的灾难性过拟合
Catastrophic Overfitting, Entropy Gap and Participation Ratio: A Noiseless $l^p$ Norm Solution for Fast Adversarial Training
AI 导读
研究提出一种仅通过控制 l^p 训练范数来缓解灾难性过拟合（CO）的方法，无需噪声注入、正则化或梯度裁剪。作者发现 CO 在 l^∞ 范数下比 l^2 范数下更普遍，并用 Participation Ratio 与熵量化梯度集中度，据此设计自适应 l^p-FGSM 自动调节训练范数。实验显示该方法取得有竞争力的鲁棒性，代码已公开。
正文 · AI 翻译
摘要：对抗训练是鲁棒深度学习的基石，但快速梯度符号法（FGSM）等快速方法常常遭受灾难性过拟合（CO）的困扰，即模型对单步攻击具有鲁棒性，却无法抵御多步变体攻击。现有解决方案依赖噪声注入、正则化或梯度裁剪，而我们提出一种仅通过控制 $l^p$ 训练范数来缓解 CO 的新方案。我们的研究源于一个经验观察：CO 在 $l^{\infty}$ 范数下比在 $l^2$ 范数下更为普遍。基于这一洞见，我们构建了一个将广义 $l^p$ 攻击视为不动点问题的框架，并构造 $l^p$-FGSM 攻击以理解从 $l^2$ 到 $l^{\infty}$ 的转变机制。由此得出我们的核心洞见：当信息集中于少数维度的高度集中梯度与激进的范数约束相互作用时，CO 便会出现。通过参与率和熵度量来量化梯度集中度，我们开发了一种自适应 $l^p$-FGSM，可根据梯度信息自动调整训练范数。大量实验表明，该方法无需额外的正则化或噪声注入即可实现具有竞争力的鲁棒性，为缓解 CO 问题提供了一条新颖且具有理论依据的途径。
| 评论： | 25 页，16 幅图，7 张表。代码：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2505.02360 [cs.LG] |
| （或 arXiv:2505.02360v3 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2505.02360 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Fares B. Mehouachi [查看邮箱]
[v1]
2025年5月5日星期一 04:41:21 UTC（4,666 KB）
[v2]
2026年5月16日星期六 12:36:31 UTC（4,667 KB）
[v3]
2026年10月23日星期五 11:28:52 UTC（3,413 KB）
来源：arXiv cs.AI · arxiv.org