arXiv cs.CL· \"Omer Tekin Yavuz (\.Ileti\c{s}im Yaz{\i}l{\i}m)·· 10 小时前AI 评分31
因果神经元电路是否唯一且可迁移？研究揭示神经元组干预的冗余性与迁移边界
Are Causal Neuron Circuits Unique and Transferable?
AI 导读
针对 Qwen3-32B 中移除 18 个神经元即让"Scar"变"Simba"的经典演示，研究系统测量了 12 个 MLP 神经元的全部 4,096 个子集，发现完整神经元组很少是必要的：少数神经元往往就足够，且许多关系链上互不相交的子集各自都能单独翻转答案。
正文 · AI 翻译
摘要：可解释性演示常常表明，对一组神经元进行干预会改变模型的答案。最近的一个例子移除了 Qwen3-32B 中一个由 18 个神经元组成的组，模型对一道关于《狮子王》的两跳谜题回答“Simba”而不是“Scar”。这样的演示确立了该组神经元很重要，但并未说明其中有多少是必要的、其他组是否也能起到同样作用，或者该效应是否会迁移到其他输入。我们提出：当干预一组神经元会改变模型答案时，该组中究竟有多少是真正必要的？对于每个选定的组，我们测量了 12 个 MLP 神经元的全部 4,096 个子集。在一个二选一首都任务（Qwen3-0.6B）上，将 12 个选定神经元置零消融会使答案边际降低 27%，而随机神经元几乎不改变它；然而，用其他问题中的值替换同样的神经元也几乎不改变它：它们的激活在不同问题之间几乎恒定，我们未发现它们携带问题特定内容的证据。在两跳关系链上，用第一跳问题的激活修补 12 个神经元会将答案转向桥接实体（从 Scar 到 Simba）：对于 Qwen3-1.7B，贪心答案在 9/11 条链中以桥接实体开头，Llama-3.2-1B 为 9/11，Gemma-3-1B 为 8/10；随机神经元从未如此。整个组很少是必要的：少数神经元往往就足够，而且在许多链中，不相交的子集各自都能单独翻转答案，在一项探索性分析中，这最常发生在模型置信度较低时。组效应会迁移到同一链的改写版本，但在其他测试链上要弱得多。我们研究神经元级别的因果干预和替代子集；我们并未恢复电路的完整连接结构。
| 评论： | 12 页，5 幅图，4 张表。代码、数据和结果：此 https URL |
| 主题： | 机器学习 (cs.LG)；计算与语言 (cs.CL) |
| 引用为： | arXiv:2611.13885 [cs.LG] |
| （或 arXiv:2611.13885v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13885 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ömer Tekin Yavuz [查看电子邮件]
[v1]
2026 年 11 月 10 日星期二 10:47:06 UTC（701 KB）
来源：arXiv cs.CL · arxiv.org