arXiv cs.AI· Youssef Allouah, Mahdi Haghifam, Sanmi Koyejo, Reza Shokri·· 9 天前AI 评分31
蒸馏博弈：自适应评估与高效防御
The Distillation Game: Adaptive Evaluations & Efficient Defenses
AI 导读
研究通过效用受限教师与自适应学生间的极小极大博弈分析蒸馏攻击，提出自适应评估规则和教师端防御模板，并由此推导出仅需前向传播的 Product-of-Experts（PoE）防御。
正文 · AI 翻译
摘要：蒸馏攻击为模型提供方带来了部署上的权衡：让模型更有用的那些输出，也可能让它更容易被模仿。我们通过一个效用受限的教师模型与一个自适应学生模型之间的极小极大博弈来研究这一权衡。我们的框架给出了可处理的一侧响应规则：一种自适应评估规则，学生据此对高价值样本重新加权；以及一个教师侧防御模板，用于抑制对蒸馏最有用的输出。借助一个廉价的样本价值代理指标，我们推导出专家乘积（PoE），这是一种仅需前向传播的简单防御方法，在生成过程中将教师模型与一个代理学生模型相结合。实证上，自适应评估揭示出巨大的被动—自适应差距：在最先进的防御方法上，自适应学生在 GSM8K 和 MATH 上恢复的能力远超被动评估所显示的水平。在这种更强的评估下，昂贵防御方法与 PoE 之间表面上的鲁棒性差距大幅缩小，而 PoE 仍然便宜得多，并能保留更高质量的推理轨迹。总体而言，我们的结果表明，强蒸馏仍然难以阻止，反蒸馏的进展应当以自适应学生而非被动学生为基准来评判。我们的代码见：this https URL。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.22737 [cs.LG] |
| （或本版本使用 arXiv:2605.22737v4 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2605.22737 由 DataCite 提供的 arXiv 颁发 DOI |
提交历史
来自：Youssef Allouah [查看邮箱]
[v1]
2026年5月21日星期四 17:09:21 UTC（287 KB）
[v2]
2026年5月28日星期四 16:47:29 UTC（287 KB）
[v3]
2026年5月29日星期五 01:45:48 UTC（287 KB）
[v4]
2026年10月7日星期三 21:45:19 UTC（311 KB）
来源：arXiv cs.AI · arxiv.org