电路蒸馏：对齐师生模型内部电路以迁移能力

研究者 Somin Wadhwa、Silvio Amir 与 Byron C. Wallace 提出“电路蒸馏”方法：在教师模型与学生模型之间匹配功能对应的电路组件，并直接对齐这些组件的内部表示，而不是只让学生模仿教师的输出行为。 在 Llama3 系列的实体追踪与心智理论（ToM）任务上，该方法表现优于标准蒸馏；据作者报告，它只需调整少量目标参数，就能把算法能力迁移到学生模型。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。