Sam Altman 转发 Nick Cammarata 谈可解释性突破

Sam Altman· @sama · X·2026-10-17 00:22· 1 小时前AI 评分48

AI 导读

很高兴看到 Nick 的这篇分享！（引用推文核心要点：可解释性可能是当下全球最重要的科学问题，因为不了解自己在构建什么就无法解决对齐问题。Nick 曾参与 OpenAI 早期机制可解释性研究，当时对神经网络看似纠缠成任意乱结感到悲观；后来他启动了 OpenAI 首个大规模自动化可解释性项目，用原始工具发现约 2% 的神经元可读。而借助现代智能体工具和更细致的观察，情况完全不同：在高达数万亿参数的模型中，绝大多数神经元可读，其回路优美，许多著名的"纠缠神经元"案例实为误解。他原本预期的障碍大多并不存在。他认为，随着自动化科学家不断进步，雄心勃勃的可解释性研究将在我们最需要它之前被解决，且可能很快。这或许是可解释性的苦涩教训：简单的方法，在荒谬的规模下，行之有效。）

正文

很高兴看到 Nick 的这篇分享！

引用Nick@nickcammarata

可解释性可能是当下全球最重要的科学问题，因为我认为如果不了解自己在构建什么，就无法解决对齐问题。关于这一点，我想我有个好消息。我曾在 OpenAI 参与机制可解释性的早期研究，当时得出的结论是悲观的，因为神经网络似乎会折叠成任意纠缠的乱结。多年后，我启动了 OpenAI 首个大规模自动化可解释性项目，用当时原始的工具发现约 2% 的神经元可读而借助现代智能体工具和更细致的观察，情况看起来完全不同。在高达数万亿参数的模型中，绝大多数神经元可读，其回路优美。许多著名的"纠缠神经元"案例实为误解。我原本预期的障碍大多并不存在。我现在认为，随着自动化科学家不断进步，雄心勃勃的可解释性研究将在我们最需要它之前被解决，且可能相当快。这或许是可解释性的苦涩教训：简单的方法，在荒谬的规模下，行之有效 https://already-clean.goodfire.com/

在 X 查看被引用的帖子

来源：Sam Altman · x.com