arXiv cs.AI· Miao-Miao Yi, Zhen-Yu Cai, Y -M. Du, C. P. Sun·· 13 小时前AI 评分24
AI 知识蒸馏中的信息论可靠性-安全边界与有限对齐动力学
Information-Theoretic Reliability--Safety Bounds and Finite-Alignment Dynamics in AI Knowledge Distillation
AI 导读
研究证明了一条与模型形式无关的普适权衡不等式，其边界仅由单一参数 Kh 决定，Kh 量化隐藏层区分良性输入与危险输入的能力。基于 Boltzmann 机模型，可靠性-安全权衡曲线由危害判别能力 K 决定，整体回答倾向控制曲线上的工作点。在知识蒸馏中，教师模型的回答会诱导学生模型权衡参数的重整化，多代蒸馏的重整化群分析给出精确递推关系与不动点结构，可预测能力损失与稳定传递之间的临界转变。
正文 · AI 翻译
摘要：人工智能（AI）的可靠性与安全性，以及它们通过知识蒸馏实现的迁移与演化，正日益受到关注。我们建立了可靠性与安全性权衡的信息论界限，并刻画了该权衡在知识蒸馏下的动力学。我们首先证明了一个与具体模型形式无关的普适权衡不等式。其边界仅由单一参数 Kh 决定，该参数量化了隐藏层区分良性输入与危险输入的能力。随后，我们构建了 AI 响应行为的规范玻尔兹曼机模型，并推导出可靠性与安全性之间的两个精确关系。权衡曲线由危险判别能力 K 决定，而整体回答倾向则控制曲线上的工作点。这些关系与现有实验数据吻合良好。在知识蒸馏中，我们发现教师响应会诱导学生模型权衡参数的重整化。我们进一步采用重整化群方法研究多代蒸馏，针对两种具有代表性的直接代际蒸馏协议，在任意师生对齐强度下推导出精确的递推关系及相关的类重整化群流。这些流揭示了不动点结构、长期动力学与临界行为，为能力损失与稳定传递之间的临界转变提供了可检验的预测。
| 学科： | 统计力学（cond-mat.stat-mech）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.38651 [cond-mat.stat-mech] |
| （或 arXiv:2610.38651v1 [cond-mat.stat-mech] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.38651 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Miaomiao Yi [查看邮箱]
[v1]
2026年10月28日星期三 11:04:21 UTC（4,112 KB）
来源：arXiv cs.AI · arxiv.org