arXiv cs.AI· Yang Sheng, Jie Fu·· 2 天前AI 评分22
Circuit Claims Depend on What Is Extracted and How It Is Compared：电路提取结论取决于提取对象与比较方式
Circuit Claims Depend on What Is Extracted and How It Is Compared
AI 导读
一项在合成 Lean 策略预测基准上的研究发现，电路提取的结论取决于报告的是哪种电路以及如何提取和比较。同一 Transformer 的稠密与权重稀疏检查点间，组件连接重叠度低、有时接近随机基线；而 RL 在组合证明上的最大准确率提升，伴随组合电路中最多的组件落在对应原子电路之外，消融这些额外组件会降低组合准确率。作者据此提出电路提取研究的报告规范。
正文 · AI 翻译
摘要：电路提取识别出在消融下其存在能保持目标行为的模型组件，但保持行为并不能唯一确定一个电路。我们在一个具有固定证明规则和随机化表面形式的合成 Lean 策略预测基准中研究这一问题。在同一 transformer 的稠密和权重稀疏检查点上，在原子证明和组合证明上进行评估，我们改变所报告的被提取对象：一个紧凑的保持预测的电路、一个保留周围读、写和路由结构的更宽泛的图，或一个在消融后损失预算下提取的子图。首先，组件到组件连接组之间的重叠很低，有时接近随机基线。在确定性选择下，所选注意力头集合的重叠要高得多，但当在得分相同的头之间随机选择时则急剧下降。其次，在以不同监督检查点初始化强化学习（RL）的条件下，归一化图大小排序在紧凑电路的重复提取之间，以及在其他两个图各自的联合与分离查询/键表示之间是一致的。对于损失预算图，查询/键排序一致性在预算扫描过程中持续存在。最后，在那些相同条件下，RL 在组合证明上带来的最大精确匹配准确率提升，伴随着组合电路中位于相应原子电路之外的组件比例最大。在稀疏 RL 模型中消融这些额外组件会降低组合准确率，同时基本保持相应原子任务的准确率。因此，电路层面的主张需要明确报告的是哪个电路，以及它是如何被提取和比较的；仅凭行为并不能决定其解释。我们将这些要求提炼为电路提取研究的报告实践。
| 评论： | 35 页。已被 NeurIPS 2026 接收。含附录的扩展版本 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2607.18921 [cs.LG] |
| （或本版本使用 arXiv:2607.18921v2 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2607.18921 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yang Sheng [查看电子邮件]
[v1]
2026年7月21日星期二 10:04:29 UTC（888 KB）
[v2]
2026年10月15日星期四 09:58:16 UTC（1,149 KB）
来源：arXiv cs.AI · arxiv.org