arXiv cs.AI· Matteo Melis, Jesus Martinez Del Rincon, Vishal Sharma·· 6 天前AI 评分22
AD-CERT：用对抗蒸馏提升神经网络认证鲁棒性
Improving Certified Robustness via Adversarial Distillation
AI 导读
研究者提出认证训练目标 AD-CERT，将对抗蒸馏与 IBP 上界结合，在 ReLU 网络的多个鲁棒性基准上取得 SOTA 认证性能。在统一设置下，logit 空间对抗蒸馏相比鲁棒特征空间蒸馏目标，认证准确率最高提升 5.40 个百分点。代码已公开，论文发表于 BMVC 2026。
正文 · AI 翻译
摘要：认证训练旨在生成其预测能够针对对抗性扰动被形式化验证的模型，通常通过优化在允许扰动集上最坏情况损失的上界来实现。对于神经网络，纯粹基于紧松弛界的认证训练方法能产生适合认证的网络，但牺牲了标准准确率。相反，对抗训练通常能带来更强的经验鲁棒性和标准准确率，但所得模型通常难以用神经网络验证器进行认证。最近，文献表明，通过将对抗训练目标与基于区间界传播（IBP）的宽松过近似相结合，可以实现更好的标准-认证准确率权衡，从而有效地在最坏情况损失的下界与上界之间进行插值。在此基础上，我们提出了 AD-CERT，一种将对抗蒸馏与 IBP 上界相结合的认证训练目标。我们表明，从经验鲁棒的教师模型在 logit 空间上蒸馏对抗信息，为认证训练提供了一种有效的下界替代，AD-CERT 在 ReLU 网络的多个鲁棒性基准上取得了最先进的认证性能。此外，在统一设置中，在 logit 层面蒸馏对抗信息被证明可将认证准确率相较于鲁棒特征空间蒸馏目标提升最多 5.40 个百分点。我们的代码已在 此 https URL 提供。
| 评论： | 作为会议论文发表于 BMVC 2026 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.31653 [cs.LG] |
| （或 arXiv:2606.31653v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.31653 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Matteo Melis [查看电子邮件]
[v1]
2026年6月30日星期二 13:31:35 UTC（53 KB）
[v2]
2026年10月9日星期五 12:57:54 UTC（84 KB）
来源：arXiv cs.AI · arxiv.org