Nick Cammarata 研究：AI 可解释性或将被自动化科学家解决
AI 加速科学发现的可解释性研究
Nick Cammarata 称，借助现代智能体工具重新审视，规模达数万亿参数的模型中绝大多数神经元是可读的，其回路结构清晰，许多著名的"纠缠神经元"案例实为误读。他曾在 OpenAI 参与机械可解释性早期研究并因此悲观，后主导 OpenAI 首个大规模自动化可解释性项目，当时仅约 2% 的神经元可读。他认为随着自动化科学家持续进步，雄心勃勃的可解释性研究有望在人类最需要时被解决。
Karina· @karinanguyen · X·2026-10-16 06:53· 2 小时前AI 评分47
AI 导读
AI 加速科学发现这件事，有一种很 Ted Chiang 的味道，而这一切始于它自身学习机制的解析。这类研究如果没有强大的编程智能体和开放权重模型，会难做得多。很高兴看到 @nickcammarata 的研究公之于众，以及它对 AI 对齐可能意味着什么，恭喜！
正文
there’s something very ted chiang about ai accelerating scientific discovery, starting with the mechanisms of its own learning. this kind of research would have been much harder to pursue without capable coding agents and open-weight models. so cool to see @nickcammarata’s research out in the world and what it could mean for aligning ai, congrats!
可解释性可能是当今世界上最重要的科学问题，因为如果我们不知道自己在构建什么，我认为就无法解决对齐问题。我想我对此有好消息。我曾在 OpenAI 参与机械可解释性的早期工作，当时得出的结论是悲观的，因为神经网络似乎会折叠成任意纠缠的结。多年后，我启动了 OpenAI 首个大规模自动化可解释性项目，用当时原始的工具发现约 2% 的神经元是可读的 借助现代智能体工具和更细致的观察，情况看起来完全不同。在参数量高达数万亿的模型中，绝大多数神经元都是可读的，其回路也很优美。许多著名的纠缠神经元案例其实是被误解了。我预想的那些障碍大多并不存在。我现在认为，雄心勃勃的可解释性会在我们最需要它的时候得到解决，而且可能相当快，因为自动化科学家在不断进步。这对可解释性来说可能是一个苦涩的教训：简单的东西，在荒谬的规模下，就是有效 https://already-clean.goodfire.com/在 X 查看被引用的帖子
来源：Karina · x.com
来源：RadarAI · aihot.news