arXiv cs.CL· Igor Shilov, Thomas Fel, Tal Haklay, Lucius Bushnaq, Owen Lewis·· 23 小时前AI 评分34
大规模神经元社区发现揭示语言模型中的神经元稀疏行为
Large-scale Neuron Community Discovery Reveals Neuron-Sparse Behaviors in Language Models
AI 导读
研究者提出神经元社区发现方法,结合梯度归因、神经元共现图与社区检测,在 Llama-3.1-8B 上用一千万条提示词发现数千个可复用的神经元社区。这些社区经必要性、层内充分性和层必要性三项因果测试验证,支持语法一致、token 概率校准、固定短语、上下文复制、加法与乘法等功能。
正文 · AI 翻译
摘要:我们能在语言模型的神经元中发现哪些可复用的计算单元?先前的研究表明,单次前向传播往往可以在事后稀疏化为小规模的神经元组,但这些组是否构成可跨输入复用的连贯计算实体,尚不清楚。我们提出神经元社区发现,这是一种无监督方法,用于寻找在不同提示中反复出现、且在其所跨越的层内对常见计算具有因果必要性和充分性的神经元组。该方法结合了基于梯度的归因、连接被反复共同归因的神经元的图,以及社区检测。将其应用于 Llama-3.1-8B 并使用一千万条提示,发现了数千个候选社区。我们在留出提示上通过三项因果测试对它们进行评估:社区必要性、在层子集内的充分性,以及层必要性。这些测试识别出这样一些组:移除它们会破坏预测,而保留它们则能在消融所测试层中其余 MLP 神经元的情况下保持预测。所发现的社区支持诸如语法一致、token 概率校准、固定短语、上下文复制、加法和乘法等功能。在所有层中社区上限为 128 个神经元时,10.3% 的留出提示至少有一层的贡献可在神经元稀疏的基础上得到解释。当要求至少四层时,覆盖率仍为 8.7%;当要求至少十二层时,覆盖率为 3.3%。这些结果表明,现有神经元的小规模组可以跨提示提供可复用的计算组件,并且此类组可以在规模上被发现。
| 学科: | 机器学习(cs.LG);计算与语言(cs.CL) |
| 引用为: | arXiv:2611.23112 [cs.LG] |
| (或 arXiv:2611.23112v1 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.23112 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Igor Shilov [查看电子邮件]
[v1]
2026年11月17日星期二 17:33:20 UTC(945 KB)
来源:arXiv cs.CL · arxiv.org