蒸馏后GPT-2电路命运分化：IOI崩塌，GT保留

Nabeelah Faumi 与 Deshan Sumanathilaka 发表机制可解释性研究，对比 GPT-2 与六层学生模型 DistilGPT-2 的两类电路，结论是蒸馏后不同能力命运分化。 IOI 电路在蒸馏后完全崩塌：任务准确率从 94.8% 降至 35.2%，name-mover 保留为零。Greater-Than 电路则部分存活，教师第 9 层的比较头被重映射到学生第 4 层，任务性能恢复到 87.7%，平均 Pearson r = 0.945。 研究用线性 CKA、logit lens、注意力模式分解、稀疏自编码器特征统计和激活修补等方法比较两个模型。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。