arXiv cs.CL· Somin Wadhwa, Silvio Amir, Byron C. Wallace·· 14 小时前AI 评分31
Circuit Distillation：通过对齐内部电路组件蒸馏 Llama3 模型能力
Circuit Distillation
AI 导读
研究者提出 circuit distillation，通过匹配教师与学生模型中功能对应的电路组件并对齐其内部表示，而非仅模仿输出行为。在 Llama3 系列的实体追踪与心智理论（ToM）任务上，该方法优于标准蒸馏，仅调整少量目标参数即成功迁移算法能力。
正文 · AI 翻译
摘要：模型蒸馏通常侧重于行为模仿，即训练学生模型复现教师模型的输出，同时将其内部计算视为黑盒。在本工作中，我们提出了一种替代方法：蒸馏教师模型所实现的底层计算机制。具体而言，我们提出了电路蒸馏，它引入了一个目标，使教师模型和学生模型中类似电路组件的内部表示对齐。我们提出了一种匹配“功能对应”电路组件的方法，并引入了一个反映这些组件所诱导表示之间相似性的损失。我们使用 Llama3 系列模型在实体跟踪和心理理论（ToM）任务上评估了电路蒸馏。我们的结果表明，电路蒸馏优于标准蒸馏，仅通过调整学生模型参数中一个小的、有针对性的子集，就成功迁移了算法能力。这项工作确立了迁移机制的可行性，这反过来可能允许通过可解释且可控的学生内部机制，高效地蒸馏有针对性的教师能力。
| 评论： | 预印本；审稿中 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2509.25002 [cs.CL] |
| （或 arXiv:2509.25002v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2509.25002 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Somin Wadhwa [查看电子邮件]
[v1]
2025年9月29日星期一 16:28:36 UTC（702 KB）
[v2]
2026年10月26日星期一 14:42:00 UTC（736 KB）
来源：arXiv cs.CL · arxiv.org