Cammarata 称多义神经元实为 V 形检测器，Neel Nanda 认为只是实用工具

The Decoder：AI News· Maximilian Schreiner·2026-10-16 21:48· 2 小时前AI 评分55

AI 可解释性即将迎来突破？一篇新文章让研究者们意见分裂

AI 导读

前 OpenAI 可解释性项目负责人 Cammarata 发文称经典多义神经元其实是 V 形检测器，叠加解释可能被误读，并给出 Qwen3-32B 中约 90% 神经元极有单一功能的初步数据。Google DeepMind 的 Neel Nanda 则认为这是实用工具而非突破，仍坚持叠加是真实存在的。Roon 称这项工作可能被视为科学史上的重要时刻，技术伴随论文尚未发布。

正文

机制可解释性试图做的不仅仅是观察 AI 模型输出了什么。它的目标是追踪模型内部如何得出答案。理想情况下，数百万个人工神经元中的每一个都应代表一个可识别的概念。但在实践中，许多神经元似乎会对完全不相关的事物产生激活，研究者称之为多义性。一个早期且著名的例子是图像模型 InceptionV1 中的一个神经元，它同时对猫脸和汽车前脸产生响应。Cammarata 在自己早期的研究中就把它当作例子。

Drei Visualisierungen eines Neurons mit wiederkehrenden Katzengesichtern, Autofronten und Katzenbeinen. — 同一个 InceptionV1 神经元的三张合成可视化图，分别显示猫脸、汽车前脸和猫腿。“Zoom In”曾将这种混合视为多义性的一个例子。Cammarata 现在将该神经元解读为 V 形检测器。| 图片：Olah 等 / Distill，“Zoom In”（2020）

标准的解释是叠加。该理论认为，当网络神经元不够用时，它会把不相关的概念塞进同一个神经元，因为它们很少互相干扰。结果看起来就像一团乱麻。这就是为什么许多实验室会训练第二个模型，比如稀疏自编码器，来把概念拆开。然后他们研究那个模型，而不是原始模型。

Cammarata 在塑造这一观点中发挥了重要作用。他与 Chris Olah 共同撰写了论文 “Zoom In”，其中首次提出了叠加回路。2023 年，他在 OpenAI 启动了一个自动化可解释性项目。当时，即便按最宽松的标准，也只有约 1.7% 的神经元算得上可理解。

证据可能被误读了

Cammarata 现在认为，最著名的那些例子被误解了。他说，那个猫-车神经元实际上是一个 V 形检测器。狐狸鼻子或火焰之类的尖形会激活它，而字母 O 之类的圆形则会把它的激活推向负值。所以它并不代表猫脸和汽车这两个完全不相关的概念，这意味着它并不是叠加的例子。

Gegenüberstellung spitzer und runder Formen in Tiergesichtern, Fahrzeugen und Alltagsgegenständen. — 尖形会激活该神经元，而圆形会把它的激活推向负值。这就是为什么 Cammarata 现在把那个所谓的猫-车神经元解读为一种共享形状的检测器。

他还重新解读了“Zoom In”中的叠加回路，其中一辆汽车似乎藏在狗神经元之中。在他看来，这只是普通的泛化，该回路只是按汽车和狗朝向摄像头的方向对它们进行分组。他把 InceptionV1 后层中的混乱归咎于过时的架构和薄弱的分析工具。

Vergleich zweier Neuronen mit drei Visualisierungsmethoden und zugehörigen Fotobeispielen. — 同样的两个神经元，用两种不同方式可视化。更好的分析方法让它们的响应模式和关联图片变得容易看得多。Cammarata 说，这就是为什么有必要重新审视那些关于神经网络有多难理解的旧发现。

Cammarata 用一种他称之为“递归泛化”的模式解释了剩余的模糊性。他说，一个神经元就像一根长出侧枝的树枝。一个识别字母序列“iy”的神经元后来会对“diy”产生反应，最终甚至会对完全不含“iy”的“do it yourself”产生反应。与叠加不同，这些分组能让你对网络有所了解。

Verzweigungsdiagramm von „iy“ über „diy“ zu „do it yourself“, mit einem weiteren Ast zu „Miyazaki“. — “递归泛化”示意图。一个对应“iy”的神经元将其响应通过“diy”一直扩展到“do it yourself”，由相关含义连接。

对于语言模型，他给出了初步数字。在 Qwen3-32B 中，约 90% 的神经元极点有一个主要职责，约 7% 有两个相关职责。只有 2% 到 4% 仍无法解释。Goodfire 表示，在参数高达数万亿的模型中也能看到类似结果。批量分析神经元的 AI 智能体完成了大部分工作。Cammarata 借鉴了 Rich Sutton 的“苦涩的教训”，并得出结论：在可解释性领域，大规模简单调查同样胜过巧妙的分解方法。

Cammarata 并未引入一种全新的方法。他回到了该领域最初直接研究神经元的方法，只是借助了更好的工具、更大的模型和自动化智能体。

可读的网络将是 AI 安全的重大胜利

如果 Cammarata 是对的，那将是个好消息，尤其是对 AI 安全而言。目前，除了监控越来越不可靠的思维链之外，几乎没有其他方法能判断模型是否在欺骗人们或做出危险行为。Cammarata 怀疑，如果没有可解释性，对齐——即引导 AI 朝向人类目标的工作——就无法解决，因为否则我们不知道自己在构建什么。他写道，欺骗没有理由躲避模型自身的电路。如果人类成为网络的又一个“读者”，他们也能看到欺骗行为，错误或许就能被有针对性地修复。

Roon 是 OpenAI 的一名员工，以该笔名在 X 上发帖，在 AI 圈内颇具影响力，他对此感到兴奋不已。他说自己与 Cammarata 是密友，没有他自己永远不会进入 OpenAI。这项工作“可能会作为科学史上的重大时刻被铭记”，Roon 写道。他还补充说，这个消息太好了，就连最著名的 AI 灾难警告者之一 Eliezer Yudkowsky 也不得不降低他对末日概率的估计。在 Roon 看来，对齐可能会成为一门“常规科学”。

即便是 Roon 也有所保留。该领域的其他人仍需确认这些结果，他还怀疑可解释性的突破会推动 AI 能力向前发展。这些突破来自外部，对包括 OpenAI 在内的大型实验室来说并非好兆头。

Nanda 看到的是实用工具，而非突破

Neel Nanda 则谨慎得多。他被认为是机制可解释性的奠基人物之一，并在 Google DeepMind 领导可解释性团队。在此之前，他曾在 Anthropic 工作，也做过独立研究者。据他所说，他的观点已经转变：自 2024 年中期以来，他对雄心勃勃的可解释性越发悲观，并倾向于务实的方法。他的团队降低了稀疏自编码器研究的优先级。他们并不认为这项技术无用，但似乎不值得该领域投入那么多精力。

Cammarata 的工作很有趣，但并没有真正改变大局，Nanda 写道。基于神经元的分析可能有助于解决实际问题，比如为什么模型会做出可疑的行为，而且它更容易应用于前沿模型。但他并不认同可解释性即将被完全破解的观点。他预计基于神经元的分析会有严重缺陷，也会遗漏很多。

Nanda 仍然认为叠加是真实存在的。他论证说，语言模型存储的事实远远多于它们拥有的神经元，尤其是弱激活很可能承载了其中大部分信息。他怀疑小型图像模型的发现能否推广过来。他还认为这篇文章对单义性的定义过于宽松，但确实称赞了 Cammarata 用现代工具检验自己旧工作的做法。

部分争议归结于定义：Cammarata 不反对模型表示的概念多于其维度，而 Nanda 认为他在这一点上是认同的。Cammarata 质疑的是，网络会任意地将完全不相关的东西打包在一起。

技术配套论文尚未发布。作为一家可解释性公司，Goodfire 在这一论点中也有明显的利益关系。如果 Cammarata 的解读成立，他认为自动化研究者可以在几个月内完成人类用图像模型花了近十年才完成的工作。他写道，可能剩下的时间不多了。

来源：The Decoder：AI News · the-decoder.com