别被迷惑——LLM 并不会推理

2016年3月的一个下午，在首尔，我看着一个我参与构建的程序在围棋棋盘第五线上落下一子，那看起来像是送给人类对手的一份礼物。五局比赛第二局的第37手看起来如此荒谬，以至于一些评论员认为这是程序故障。

事实并非如此。AlphaGo赢得了那局比赛，最终以4比1战胜了史上最伟大的职业围棋棋手之一李世石。“我以为AlphaGo是基于概率计算的，它只不过是一台机器，”李世石事后说道。“但当我看到这一手时，我改变了想法。毫无疑问，AlphaGo是有创造力的。” 

1997年深蓝击败时任国际象棋世界冠军加里·卡斯帕罗夫时，它靠的是为每位棋手预判六到八步、每秒评估2亿个棋局局面，使用的是人类硬编码的规则。围棋是一种复杂得多的游戏。一颗棋子的价值取决于相距遥远的棋块和地盘在数十手棋中如何展开。即便计算其中一小部分可能的结果，超级计算机也要花费数十亿年。为了获胜，AlphaGo必须一眼感知谁占优势，甚至发明出人类从未想到要下的棋。

这就是为什么许多关于AlphaGo对阵李世石的记述把第37手描绘成纯粹机器直觉的闪光。但那是一种误解。实际上，正是AlphaGo的推理能力做出了这一富有创造性的选择——而这些能力是当今AI所缺乏的。如果我们希望未来的AI系统在科学和医学等领域产生可信的结果和真正新颖的洞见，我们就需要赋予它们这种真正的推理能力。

AlphaGo由两个系统组成。第一个是它的策略网络，经过训练来猜测一位强大的人类棋手会下哪一步。这个“直觉”部分认为第37手没什么特别——一位人类专家棋手下出这一手的概率大约只有万分之一。让AlphaGo选择这一手的是该程序的搜索机制，它超越了眼前的合理性，权衡了候选着法的未来后果。它明确地构建并搜索了一棵拥有数千个分支的博弈树，每个分支代表一种不同的可能未来。 

行为科学中有一个著名理论，由丹尼尔·卡尼曼推广，它区分了人类思维的两种模式：系统1快速、凭直觉、毫不费力；系统2缓慢、循序渐进、深思熟虑。AlphaGo提供了一个与这种划分惊人相似的机器类比。它的网络提供直觉——这步棋看起来有希望，这个局面看起来赢了——而它的搜索提供深思熟虑，用后续的着法和应手来检验这些直觉。正如人类认知一样，两半缺一不可。仅凭直觉永远不会选择第37手，而蛮力搜索也难以从所有众多可能的着法中筛选出来。

这与当今AI模型的工作方式截然不同。大型语言模型一次又一次地挑选下一个词元。这相当于系统1在运作——快速、联想式，并且在几乎人们所写的每一个主题上都有着惊人的模式补全能力。

ChatGPT 问世后不久，人们就意识到，仅靠语言流畅还不足以真正实用。表面上的解决方案是让模型进行深思熟虑：它们不再立即作答，而是可以生成中间步骤，将问题分解、传递部分结果并影响后续推理——这一过程被称为思维链。

这些收益已被证明是真实的，尤其是在数学和编程领域。但与 AlphaGo 的搜索不同，这并未引入一种真正独立的推理机制：中间推理仍由同一个下一词元预测过程产生，只是在模型最终确定答案之前迭代了更长时间。

有三个缺陷使聊天机器人的所作所为无法被（以科学家可能认可的方式）称为推理。首先，这些模型通常不维护任何显式、持久且可检查的认知状态。没有一个公开的账本列出模型正在考虑的假设、它对各种解释的置信度、它正在权衡的证据以及它保留的未决问题——而所有这些都应随着新信息的到来而被系统地修正。

其次，它们缺乏系统所知与如何操纵这些知识之间的清晰分离。知识与推理在神经网络的权重中密不可分地交织在一起——不存在独立、显式表示的信念集合。第三，虽然聊天机器人产生的思维链看起来像是深思熟虑，但研究表明，这些机器人往往是在事后编造它们，通过一条路径得出答案，却报告另一条路径。

这是个问题，因为在我们都关心的那些高风险应用中，例如医学、工程和科学研究，重要的不仅是系统得出什么结论，还有它如何得出这一结论。当错误发生时——例如在医疗诊断和治疗中——我们需要能够 pinpoint 出问题所在：是系统的推理有误，是它引用了无效证据，还是它做出了错误假设？ 

这就是我最近离开 Google DeepMind 职位的原因。我相信我们需要一种全新的机器推理方法——一种借鉴 AlphaGo 架构的方法。AlphaGo 维护着关于给定局面的已知信息记录：博弈树。这一数据结构包含 AlphaGo 考虑过的所有变化、可能的未来，每一步棋和每个局面都附有其神经网络做出的判断。随着推理的推进，AlphaGo 更新博弈树，并最终综合其中的信息来决定走哪一步。 

同样，对于通用推理，系统应维护一种认知状态，表示系统认为已确定的内容、存疑的内容、已排除的内容以及仍悬而未决的问题。于是，推理可以被理解为一系列改变认知状态以推进知识并减少不确定性的步骤：推导后果、将问题分解为部分，以及——至关重要的是——决定接下来要问什么问题、进行什么计算或开展什么实验。

当然，开放世界的推理比下围棋或国际象棋这样的棋盘游戏更难。在现实世界中，当前事态只是部分已知的，可用行动集合庞大且多变，行动的后果是随机的或未知的。 

但LLMs和其他神经模型的最新进展如今使我们有能力处理这类通用推理问题。例如，LLMs可以根据已知信息和可用资源，提出解决问题的思路。它们可以通过API或代码与工具交互，并帮助评估某一主张是否有现有证据支持。

最重要的是，为了保持系统的诚实，系统的一个独立部分必须评估每一步在多大程度上真正消除了不确定性，只有当变化有证据支持时才更新信念。一旦这些规则得到执行，模型就能积累经过认证的知识，并通过从过去的推理经验中学习来改进其推理策略。你可以把这样的系统看作打了鸡血的科学方法，其目的是产生经得起审视的知识。

我并不认为把系统1做得更大就能实现可信赖的机器智能。规模会磨砺直觉，但不会让直觉更具审慎性。第37手之所以重要，是因为机器坚持了一个立场，权衡了各种可能的未来，并选择了它的人工本能很可能会拒绝的那一手。

社会需要在药物发现、材料、气候、诊断等领域有这种创造性的招法——在这些领域，棋盘看起来完全不像围棋棋盘，也没有人把规则交到我们手上。我们只有从能够推理的系统中才能获得这样的洞见——这些系统的结论源自可审计的证据、推断和信念修正序列，而不是源自事后讲述的一个令人信服的故事。 

Thore Graepel是伦敦大学学院机器学习讲席教授。他曾是DeepMind的AlphaGo团队核心成员，并致力于确保AI造福人类繁荣。