arXiv cs.CL· Nabeelah Faumi, Deshan Sumanathilaka·· 12 小时前AI 评分31
GPT-2 与 DistilGPT-2 知识蒸馏机制可解释性研究：哪些能力在蒸馏后存活
What Survives Distillation? A Mechanistic Interpretability Study of GPT-2 and DistilGPT-2
AI 导读
一项机制可解释性研究对比 GPT-2 与六层学生模型 DistilGPT-2，发现蒸馏后 IOI 电路完全崩塌（准确率从 94.8% 降至 35.2%，name-mover 保留为零），而 Greater-Than 电路通过将教师第 9 层比较头重映射到学生第 4 层实现 87.7% 任务性能恢复（平均 Pearson r = 0.945）。
正文 · AI 翻译
摘要：知识蒸馏将大型语言模型压缩为紧凑的学生模型，使其保留总体指标，但深度缩减蒸馏的机制性后果在很大程度上仍未被刻画。本工作应用线性 CKA、logit lens 分析、注意力模式分解、稀疏自编码器特征统计和激活修补，在两个典型电路上比较 GPT-2 及其六层学生模型 DistilGPT-2：间接宾语识别（IOI）电路和大于（GT）电路。结果揭示了一种压缩-崩溃二分现象：IOI 电路遭受完全的机制性崩溃（DistilGPT-2：准确率 35.2% 对 94.8%，名称移动器零保留），而 GT 电路则通过将教师模型第 9 层比较头主动重映射到学生模型第~4 层（平均 Pearson r = 0.945），以 87.7% 的任务性能恢复率存活下来。这些发现表明，电路可压缩性决定了蒸馏下的机制性存续，而总体指标不足以作为电路完整性的诊断依据。
| 评论： | 5 图，9 表 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.37157 [cs.CL] |
| （或 arXiv:2610.37157v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37157 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Deshan Sumanathilaka Mr [查看电子邮件]
[v1]
2026年10月27日星期二 12:52:58 UTC（2,725 KB）
来源：arXiv cs.CL · arxiv.org