AlphaFold 为何没有解决蛋白质折叠问题——对话 Google DeepMind 的 Pushmeet Kohli 与 Biohub 的 Sal Candido

从AI的苦涩教训规模化到尚未解决的蛋白质折叠之谜，Google DeepMind的Pushmeet Kohli和Biohub的Sal Candido正在重新思考，要构建真正理解生物学的AI需要什么。在这场由Brandon Anderson主持的特别小组讨论中，他们探讨了为什么AlphaFold的突破只是开始，为什么仅靠扩展计算和数据无法解决生物学问题，以及下一代AI模型如何能改变我们对蛋白质、细胞和人类疾病的理解。

我们深入探讨AI驱动生物学的未来：在生物数据中寻找缩放定律，科学直觉与通用架构之间的权衡，为什么蛋白质结构预测远未解决，以及构建生命系统预测模型需要什么。Pushmeet反思了AlphaFold背后的经验教训、人类可解释性的局限，以及未来的前沿模型是否能比我们更好地理解其他AI系统。Sal解释了为什么蛋白质语言模型可能已经包含我们尚未解锁的科学知识，生物建模为何必须超越单个蛋白质，以及为什么实现Biohub治愈所有疾病的使命需要以10倍突破而非渐进式改进来思考。

我们讨论：

生物学的苦涩教训：为什么扩展计算和数据还不够
为什么找到正确的缩放定律比盲目增加模型规模更重要
低质量的宏基因组数据如何能改进蛋白质语言模型
为什么AI研究人员针对可用数据而非最重要的科学问题进行优化
DeepMind在平衡建模、数据生成和科学专业知识方面的经验教训
为什么构建虚拟细胞需要根本不同的数据集
AlphaFold的手工设计架构和科学直觉的作用
为什么好数据比仅仅拥有更多数据更重要
归纳偏置、缩放定律和专用AI架构的未来
为什么我们并未处于后Transformer世界，但架构正在演变
为什么AlphaFold实际上并未解决所有蛋白质折叠问题
蛋白质动力学、无序性以及静态结构预测的局限性
冷冻电镜显微图像如何能解锁更丰富的生物表征
从单个蛋白质模型转向整个生物系统
费曼的著名原则以及为什么AI现在能创造我们不理解的东西
蛋白质语言模型中隐藏的生物学知识
为什么可信度和不确定性校准比完全可解释性更重要
前沿AI模型能否比人类更好地解释其他AI系统
AI何时能在药物发现中实现10倍至100倍加速
为什么治愈所有疾病需要思考10倍突破而非10%的改进

Pushmeet Kohli — Google DeepMind

X： https://x.com/pushmeet
LinkedIn： https://www.linkedin.com/in/pushmeet-kohli-4838994/

Sal Candido — Biohub

Biohub： https://biohub.org/team/salvatore-candido/
X： https://x.com/salcandido
LinkedIn： https://www.linkedin.com/in/salcandido/

Brandon Anderson — 主持人

LinkedIn： https://www.linkedin.com/in/brandon--anderson

时间戳

00:00:00 引言：生物数据的苦涩教训

00:01:00 寻找缩放定律与生物学的正确数据

00:04:54 DeepMind 的苦涩教训：解决问题 vs. 扩展模型

00:06:50 AlphaFold、数据局限与构建虚拟细胞

00:09:52 手工设计的架构 vs. 扩展计算

00:11:53 优质数据、归纳偏置与模型设计

00:13:39 超越 Transformer：AI 架构的未来

00:14:38 为什么 AlphaFold 尚未解决蛋白质折叠问题

00:17:39 蛋白质动力学、设计与冷冻电镜

00:19:09 从单个蛋白质到整个生物系统

00:20:43 费曼原则：在不理解的情况下创造

00:22:18 蛋白质语言模型中隐藏的知识

00:23:48 AlphaFold、可信度与可解释性

00:25:56 AI 能比人类更好地理解其他 AI 模型吗？

00:27:43 AI 何时将彻底改变药物发现？

00:29:47 为什么治愈所有疾病需要 10 倍的突破

文字记录

引言：数据是否存在苦涩教训？

Brandon Anderson [00:00:04]： 很高兴来到这里。多么激动人心的早晨。这么多精彩的发布。我认为生物科学的未来正在这里被宣告。这是建模专场。我们都是建模者，所以谈论数据对我们来说自然是理所当然的。

在数据方面，我喜欢思考的一件事是如何正确地扩展它。这让我想到了苦涩教训的问题，但重新放在数据的框架下。对于那些不是 AI 领域的人，苦涩教训是这样的说法：能够扩展的方法最终会胜出。如果你能扩展得足够多，它就会赢。所以我的问题，从 Sal 开始：数据是否存在苦涩教训？

Sal Candido [00:01:00]： 当然。你显然需要正确的数据才能让它奏效。关于缩放定律的一个误解是，缩放定律无处不在，而且总是存在。很多工作实际上是找到那个缩放定律。我们做的很多事是试图弄清楚：在什么情况下，如果你投入更多计算，如果你投入更多数据，你会得到更好的结果？

那是一个很好的情况，因为一旦发生这种情况，你就可以转动曲柄。它变成了一个工程问题，这是我喜欢的事情。这与架构有关，但也很大程度上与数据有关。如果你没有具有正确信息和统计数据的数据来解决你想要的问题，你就不会得到一个具有你想要的能力和理解的模型。你只能真正从你拥有的数据中提取信息，并利用它来泛化到数据之外。

选择正确的数据：可用性 vs. 科学影响力

Brandon Anderson [00:02:09]: 在数据收集方面，您认为哪些模态最好？一个相关的问题：建模者是否倾向于研究数据可获取的问题，而不是那些最符合他们目标或对转化医学影响最大的问题？

Sal Candido [00:02:32]: 当然。我不能代表所有建模者，但我比较懒，所以我会用现有的数据来工作。这有好的一面，也有坏的一面。

好的一面是，当你做传统机器学习时，你通常寻找最纯净、最高质量的数据样本。但如果你像我一样，你会翻箱倒柜，在别人的杂物堆里找找有什么可用的。一个具体的例子是用宏基因组序列训练蛋白质语言模型，这些数据并非最高质量。事实上，我可以保证，其中很多数据甚至不是真实完整的蛋白质。然而，它却能提升模型在设计真正有效的蛋白质和理解已知蛋白质方面的性能。

这是积极的一面。但它也可能把你引向一个消极的方向，让你说：“我们就扩大容易生成的数据规模吧。”我认为这未必是正确的方法。这正是今天讨论BBI让我感到兴奋的事情之一。它主动去问：“我们需要什么数据来解决问题？”

这关乎正确的资源，也关乎正确的社区。我们在Biohub尝试做的一件事就是开放工作，与社区合作，推动整个社区前进。这至关重要，因为如果只有人在构建模型，我们会倾向于已有的数据。如果只有人在生成数据，他们会倾向于能生成的东西。但如果你能作为一个社区，在每一步都以开放的方式合作，你就能弄清楚你真正需要什么数据。然后你就能找到那个缩放定律。

问题优先：建模、数据与专业知识

Brandon Anderson [00:04:50]: Pushmeet，你怎么看数据方面的苦涩教训？

Pushmeet Kohli [00:04:54]: Rich还在我们身边时，我就在DeepMind，当时就在思考这个苦涩教训的理念。我从Rich在DeepMind的原始讲座中得到的，并不是关于数据是否有用或我们该如何思考机器学习的具体概念。我的理解是，他在谈论更概念化的东西。

有时当我们看待问题时，我们会以非常宗教化的方式思考解决方案：“我是建模者”，或者“我是数据生成者”。我认为这就是苦涩教训。如果你以这种心态处理问题，你可能不会成功。问题优先，你应该在解决方案空间中保持灵活。你应该两者都尝试。你应该理解你试图解决的问题。如果需要建模工作，就做建模工作。如果需要收集更多数据，就收集数据。

当时机器学习领域发生的情况是，人们说：“我们是机器学习研究者。数据集就在那里。这是一些训练数据，这是一些测试数据，我们只需优化模型。”这是有问题的，因为如果你的最终目标是解决问题，你必须审视过程中涉及的两个方面。

而这个过程所涉及的不仅仅是数据或建模，还有专业知识。以 AlphaFold 为例，我们审视了现有数据集能实现什么，因为我们并不具备核心专业知识，甚至没有资源去说：“让我们把 PDB 扩大几个数量级吧。”世界各地的组织和科学家为构建这些数据所投入的心血是无价的。所以，在那种情况下，你必须专注于通过投资建模来获得最大的回报。

但在其他领域，比如细胞基因组学，我们采取了同样的方法，并问：“你能用逐细胞基因数据做什么？”经过大量工作后，很明显，数据还不足以支撑构建虚拟细胞这一宏大愿景。这促使人们共同关注推进科学所面临的实际挑战，而不是盲目追随数据生成或建模的进展。

Brandon Anderson [00:08:23]：我非常喜欢这个回答。可操作的要点是什么？始终先定义问题，然后弄清楚要搜索哪个解决方案空间。但更广泛地说，随着我们迈向下一代转化医学，社区应该如何思考这个问题？

Pushmeet Kohli [00:08:47]：我给任何刚进入这个领域的人的建议是，把自己看作一个多学科的人。先理解问题。你为什么在做这个？你想实现什么？然后思考需要什么，无论是建模、计算扩展还是数据生成。理解问题极其重要，当然你也需要建立自己的专业知识。

也有约束条件。也许你只能生成一定量的数据，或者只能负担训练一定规模的模型。理解这些约束，尝试快速失败，并审视哪些方法从长远来看是可行的，能让你达到你期望的影响力水平。

科学归纳偏置与扩展：构建模型的艺术

Brandon Anderson [00:09:52]：这正好引出了我的下一个问题。当我审视建模的演变时，AlphaFold 2 本质上是一件艺术品，包含许多精心手工打造的特征。解决方案的每一部分都经过了深思熟虑。谷歌或 Alphabet 的一些工作仍然停留在那个领域，但普遍共识似乎正转向更具可扩展性的通用策略。

对于某些问题，我们仍然需要手工打造的、精雕细琢的解决方案吗？还是说资源最好先集中在规模上？在资源和资金固定的情况下，你可以投资于计算、人才或数据。我们应该如何思考这种权衡？

Pushmeet Kohli [00:10:48]：让我们从第一性原理出发。构建更好模型的艺术和技巧并非偶然。我们做了大量实验，但背后有一个愿景。来自生物物理学和生物化学的科学直觉告诉我们，氨基酸残基并不是各自为政。它们受到其他残基的影响。所以让我们把这一点融入进去。如果你从科学界学到了什么，就利用那些信息。给模型那种不公平的优势。

这使得模型在数据利用上高效得多，因为它不必重新学习所有东西。我还必须提到，整理好的数据本身就是一门艺术。并不是说你只要说“投入更多数据”就行。如果你重复相同的数据，你不会取得任何进展。这不仅仅关乎大数据；它关乎好的数据，以及理解取得进展所需的数据覆盖范围。这本身就是一个更有趣、更具挑战性的问题。

Brandon Anderson [00:12:20]： 看起来你有个想法，Sal。你怎么看？

Sal Candido [00:12:24]： 我非常同意。这取决于要解决的问题。如果你的数据量较小，模型中更多的归纳偏置会对你有所帮助。在较小的数据规模下，你确实需要它来获得结果。随着数据越来越多，有时模型会发现一些你未必知道的东西，而有时那种归纳偏置，如果它并非完全正确，可能会阻碍你。随着情况改善，会有一个临界点。

但我也对你的问题有点异议，因为扩展方面也有很多技巧。需要大量的算法工作来拿模型、用更多数据训练它们、投入更多算力，并让它们变得更大。这不仅仅是从基础设施角度或让模型更快地运行推理。我们看到事情正在超越标准Transformer，走向更定制的架构。我认为我们绝没有进入后Transformer世界，但我们正在修改这些架构，使它们更符合目的、工作得更好，即使面对互联网规模的数据也是如此。

随着更多数据的涌入，挑战不仅在于整理这些数据或选择模型需要的下一批信息。还在于在每一步、每一个规模上，都要问：什么才是正确的架构，才能从这些信息中获得最大收益。

为什么AlphaFold没有解决所有蛋白质生物学问题

Brandon Anderson [00:14:36]： 如果你想想蛋白质结构预测的现状，新闻会说蛋白质结构预测已经被解决了。但如果你和我的朋友交谈，他们会说：“我们这里还有很多工作要做。”功能、动力学和设计仍然是完全开放的问题。AlphaFold 2发布已经大约五年了，也取得了进展。

Pushmeet，你认为还会有另一次大飞跃吗？解决这些问题有障碍吗？是我们没有正确的数据、算法或想法吗？还是只是时间问题？

Pushmeet Kohli [00:15:28]： 科学通过隔离某样东西，然后一步步取得进展。当人们说蛋白质折叠问题已经解决时，在概念层面上确实有进步。但想想蛋白质是构建模块的说法。蛋白质不是模块，它们也不像模块那样行动。我一直说蛋白质是构建模块，但我实际上并不相信。

蛋白质极其复杂。它们是无序的。它们的形状可能因环境而改变。John Jumper和我过去常讨论：我们试图解决什么？我们不知道蛋白质实际采取的真实基态，也不知道蛋白质实际采取的结构分布。我们试图做的是复制某人获得并存入PDB的结构。这就是我们所做的。而它恰好很有用。

但这并不意味着我们已经理解了蛋白质动力学的全部。在最高层面上，更容易传达的是我们取得了进展，但这个圈子里的科学家们知道还有多少工作要做。有很多值得庆祝的地方，但我们不能停止资助蛋白质结构预测和蛋白质动力学研究，因为我们才刚刚起步。

冷冻电镜、分子动力学与缺失的信息

Brandon Anderson [00:17:39]：最大的障碍是什么？如果你能挥动魔杖说：“我们需要更多这个”，就能加速功能、动力学或设计研究，你会希望创造出什么？

Pushmeet Kohli [00:17:54]：我的背景相当多元。我最初是一名安全研究员，然后转向计算机视觉、贝叶斯理论、判别式机器学习、深度学习、AI 编程，最后是科学。所以当你问我这个问题时，我内心那个计算机视觉研究者对冷冻电镜显微图像感到非常兴奋。

我想，“这个 PDB 数据是什么？我应该从源头入手。我应该直接看冷冻电镜显微图像。我不想要那些结构。它们肯定遗漏了所有数据。我应该直接在冷冻电镜显微图像上操作。”

能够获得在那个层面上可扩展的模型，配合适量的数据，并提取其中捕捉到的动力学和分布信息，那将是非常了不起的。我尝试过，但这需要更多的工作。

Brandon Anderson [00:18:57]：还有工作要做，但你相信那是一条能给你带来那些信息的路径？

Pushmeet Kohli [00:19:00]：是的。我认为在某个时候，也许会有比我更优秀的人来尝试，我们会有所进展。

从蛋白质结构到更大的生物系统

Brandon Anderson [00:19:07]：Sal，你怎么看？

Sal Candido [00:19:09]：这很有趣，因为这些模型非常有用，但它们并不完全是大多数人想要解决的问题。它们解决的是一个非常特定的目的，你也可以用它们来做其他事情。例如，你可以用它们来设计新蛋白质，而这并不一定是你一开始会做的事情。

我把我们现在正在构建的模型想象成一个人试图理解自行车是如何工作的，但他在建模上面的一个辐条。这些模型可以随着时间的推移变得越来越好，但你真正需要做的是从辐条模型推进到车轮模型，再到整辆自行车，因为那才是人们想要理解的。继续这个类比，似乎人们想用自行车的模型来设计皮卡车的零件。

当我们将这些模型放入它们所处的特定生物背景中时，我们将能够在更广泛的尺度上了解这些相互作用。我认为这就是事情的发展方向。但我同意我们应该继续研究折叠模型，因为它们会越来越好。

蛋白质设计 vs. 科学理解

Brandon Anderson [00:20:43]：关于设计，费曼有一句名言：“我无法创造的东西，我就无法理解。”现在我们处于一个很容易创造事物却完全不需要理解它们的世界。拥有帮助人类理解事物的模型，与能够有效一次性设计出皮摩尔级结合物之类的神奇黑箱相比，有多重要？

Sal Candido [00:21:18]：早在 AI 出现之前，我们就已经在用神奇的黑箱来设计东西了。从某种意义上说，这仍然有用。但理解非常重要，这是我在思考 AI 时最关注的大事之一。

这些模型要学的东西太多了。随着智能变得越来越便宜、越来越普及，你可以部署它去学习越来越多关于世界上正在发生的事情。但你怎么把这些知识从机器里提取出来，让我能够理解呢？也许这只是我个人的好奇心罢了。我觉得有太多东西值得学习。

Brandon Anderson [00:22:05]：很多科学家真的很想理解事物，终点对他们来说可能没那么重要。但我们在这里是要把转化医学作为一个问题来解决，对吧？

Sal Candido [00:22:18]：我觉得你越深入钻研，就越能找到正确的方式继续推动它们前进。有一件事对我来说非常突出：这些模型里包含的信息远比我们所知道的要多。

比如说，我们在模型可解释性方面做了大量工作，你会在那里发现很多信息。人们知道蛋白质语言模型在其表征中学会了某种结构概念，但我们还发现了关于功能和运动的信息。即使是我们现在拥有的模型，也还有很多东西有待解锁。随着我们提升它们的能力，理解这些对我们来说很重要。

归根结底，你期望通过把所有这些信息压缩进一个模型而涌现出一个世界模型。它是如何完成工作的？它是如何设计蛋白质的？它把进化中的信息压缩进了那个模型。除了能够为我们产出有用的东西之外，仅仅通过观察内部有什么，也肯定有值得学习的东西。

AlphaFold 的置信度、校准与可解释性

Brandon Anderson [00:23:48]：Pushmeet，你怎么看？设计还是理解？

Pushmeet Kohli [00:23:53]：我有不同的看法，我认为某种程度的理解是必要的。让我解释一下我指的是什么程度。

AlphaFold 并不完美。AlphaFold 2 在当时那个数据集上的 GDT 分数大约是 90。但即使它的 GDT 分数达到 95，如果它的 pLDDT 分数完全没有校准，谁会信任它呢？想象一下，它神奇地给出了好答案，却告诉你它非常有信心，然后你在此基础上工作了一年，却发现它完全错了。不确定性度量的校准极其重要。

从这个意义上说，我们确实理解 AlphaFold 2，我们在理解它的行为方式方面取得了很大进展。这与理解它内部如何运作以找到解决方案是不同的。在这一点上我同意 Sal 的看法，可解释性问的是：它为什么有效？它为什么给出这个答案？

在最高层面上，AlphaFold 2 在其行为和泛化能力方面是可解释的，而且我们在发布之前并没有发现关于它的一切。当我们发布 AlphaFold 2 并公开权重时，人们发现它是一个出色的无序蛋白预测器。它能找出蛋白质中哪些部分是无序的。这表明它具有泛化能力。

但可解释性提出了另一个问题：对谁可解释？如果你说的是对人类理性系统可解释，考虑到人脑的认知和计算局限，那么不，AlphaFold 2 是不可解释的。但如果你问的是，AlphaFold 2 对一个更大、更复杂的模型来说，其工作原理是否可解释，也许它是可解释的。只是我们人类不理解而已。

作为 AlphaFold 2 的使用者，我们确实需要了解它能做什么、不能做什么。理解它的行为特征、优势和局限性极为重要。没有这种刻画，我们就不能贸然使用这些模型，否则它们不仅无益，反而可能有害。

Brandon Anderson [00:26:53]：所以你的观点是，严格来说，可解释性并非必要，但确保模型值得信赖，以便人类能据此做出可操作的决策，才是人们应该关注的重点。

Pushmeet Kohli [00:27:04]：正是如此。可解释性也取决于观察者。是谁在解释它？如果是人类科学家试图解释模型如何做出预测，那是一个问题；而让另一个大得多的 LLM 访问激活层，并问它“你能预测 AlphaFold 会做什么吗？”，那又是另一个问题。也许未来的前沿模型能够预测这一点，并提出一套关于 AlphaFold 2 如何解释和产生结果的理论。

AI 何时将变革药物发现与临床医学？

Brandon Anderson [00:27:43]：我们只剩两分钟了，所以最后问你们两位一个问题。AI 很有可能在不久的将来给人类健康带来巨大改善。我喜欢定量预测。大胆猜一下：还要多久我们才能开始看到 AI 成果进入临床？Pushmeet，你想先来吗？

Pushmeet Kohli [00:28:08]：我认为“AI 成果进入临床”这个问题本身提得不好。如今 AI 已经被用于药物发现过程的每一个环节。从这个角度看，它已经在那里了。

但如果你问的是我们何时会看到时间线加速 10 倍或 100 倍，那么下一个问题是：我们在加速什么？是先导化合物优化？靶点发现？临床前工作还是毒理学？

在未来几年里——这正是今天宣布的这项工作极为重要的原因——我们需要攻克生物学中一些艰难的挑战。只有到那时，我们才能真正解锁那种能彻底变革药物发现的加速。AI 会继续被用于那些不断进入临床的环节，但更大的加速只有在对这项工作试图创建的生物学模型有了更好的理解之后才会被解锁。

Brandon Anderson [00:29:43]：好的，谢谢。Sal，如果可以的话，请简短回答。我们快没时间了。

Sal Candido [00:29:47]：我很想真的戴上我的生物黑客帽子来回答这个问题。思考推动这个领域前进意味着什么很重要。我们真正想看到的是结果受到影响。什么时候会有一种完全由 AI 制造的药物？我不知道。这很难预测。但我确实认为我们会很快看到迅猛的进展，因为所有这些工具都已经在被使用了。

回到你关于基础研究和基础理解的观点，我在职业生涯中很久以前在谷歌学到的一件事是，有时候通过问需要什么才能实现10倍改进而不是10%改进，来着手解决问题会更容易。这并不是因为10倍的路径必然更容易。而是因为它让你能够采取更广阔的视角，看到你未曾尝试的解决方案。你回到第一性原理，问：“我们该如何做到这一点？我们该如何真正推动这一点？”

10%和10倍这两种方法都很有价值，我们应该两者都做。我很高兴在Biohub我们有一个美好而崇高的使命宣言：治愈所有疾病。如果你想做到这一点，你真的需要弄清楚10倍的方法是什么。能够去做这件事是一个很好的机会。

Brandon Anderson [00:31:46]：太棒了。谢谢你们两位。感谢你们坐在真正的热座上。非常有趣。