arXiv cs.AI· Biprarshi Biswas, Arya Anshuman Ojha, Yubaraj Das, Devansh Khosla, Kamran Rais, Saankhya Samanta, Subhamoy Maitra, Pantelimon Stanica·· 14 小时前AI 评分31
密码分析技术结合知识蒸馏，从深度神经网络中恢复参数
Extraction meets Distillation - cryptanalytic techniques to recover parameters from a Deep Neural Network
AI 导读
研究将密码分析的权重方向提取与基于预测标签的学习相结合，实现全连接神经网络重建，并把 ReLU 提取方法适配到 Leaky ReLU。在最大合成架构上，Leaky ReLU 在 8 个搜索种子下可从最深隐藏层恢复 51–57 个神经元，而 ReLU 一个都恢复不了，但该优势并非在所有架构和层上普遍成立。
正文 · AI 翻译
摘要：我们通过将密码分析的权重方向提取与从预测标签中学习相结合，研究全连接神经网络的重建。我们将 ReLU 提取实现适配到 Leaky ReLU，比较符号搜索方法，并估计偏置和输出层。我们证明了在近似前缀下方向恢复的条件界、局部距离投票的保持、对齐参数误差引起的预测变化，以及使用独立评分数据进行符号选择。我们还指定了精确行恢复，并将其保证与梯度掩码的保证区分开来。实验评估了辅助提取，即对梯度、隐藏激活和受害者参数具有特权访问，随后进行基于标签的重建。在最大合成架构上的八个搜索种子中，Leaky ReLU 在最深层隐藏层中恢复 51--57 个神经元，而 ReLU 一个也没有恢复。这种优势在不同架构和层之间并不一致。从符号游走中移除受害者权重访问会得到不太准确的符号，尽管最终预测一致性很高。在两个最小合成受害者上的 40 次种子运行中，对未用于拟合和选择的 5,000 个输入的一致性范围从 $0.9890$ 到 $0.9992$。在两个 CIFAR-10 受害者上，重建模型达到 $56.40\%$ 和 $58.29\%$ 的一致性，并在三个功能指标上超过蒸馏基线。我们分别报告标签请求和特权访问，并解释为什么预测一致性不能识别网络参数。
| 评论： | 39 页，无图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；密码学与安全（cs.CR） |
| MSC 分类： | 68P25 |
| ACM 分类： | E.3 |
| 引用为： | arXiv:2610.33671 [cs.LG] |
| （或 arXiv:2610.33671v1 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.33671 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Subhamoy Maitra [查看电子邮件]
[v1]
2026 年 10 月 24 日星期六 13:36:49 UTC（58 KB）
来源：arXiv cs.AI · arxiv.org