验证不等于知识：科学需要的不只是答案

本文是客座文章，作者为Jessica Hullman，她是西北大学计算机科学Ginni Rometty讲席教授兼政策研究员。

在比尔·瑟斯顿关于严谨证明在数学进步中所起作用的文章中，他写道，数学研究成功的衡量标准是“我们所做的是否能让人们更清晰、更有效地理解和思考数学。”近来许多关于AI用于科学的讨论都围绕理解与答案之间的张力展开。科学究竟是关于人类获得洞见，还是对可验证解答的归档？

一方优先考虑输出。进步被认为体现在对长期猜想的可验证证明和疾病的治愈方法上，无论人类是否参与了其创造过程。另一方则认为人类的理解至关重要，因为它推动新发现融入知识经典，因为它塑造并激励下一代，等等。但第一方——那些强调正确输出的人——将此斥为守门主义或怀旧情绪。

当Terry Tao在最近的一次演讲中提出一个思想实验，询问人们对于接受AI研发的癌症治疗会有多安心——该治疗附带正式的正确性证书并通过了3期临床试验，但没有任何人类理解它是如何被发现的——批评者认为Tao的推理没有抓住重点。当然，一个4期癌症患者会欣然接受这种治疗。

其他例子涉及署名归属的模糊性。Tom Dietterich写到arXiv日益严重的问题：由人类作者提交的论文中，作者似乎不太可能具备理解其主张的专业知识。许多人对此质疑：如果验证问题已经解决，问责——我指的是对某一主张负责、能够描述其依据并在受到质疑时作出回应——为何仍然重要？我建议同行审稿人将他们的专家判断保留给那些未被标记为大量AI撰写的文本，从而将审稿优先视为人类交流，但一些人认为这是对追求真理的阻碍，而非对真理的维护。

问题在于，如果我们都同意输出很重要——我们确实关心长期猜想的解答，我们最终确实想知道如何治愈疾病——那么理解就显得是另一回事了。它被描绘成一种心理状态，在治愈方法或证明本身面前显得可有可无，并很容易被贬为一种二阶约束——我们附加它只是因为历史上我们一直需要它来首先获得解答。

当理解力的捍卫者不质疑这种分离时，他们就立刻输掉了争论。那些优先看重产出的一方，很容易就把他们说成是根本没有努力去构想新的未来。但我们一再退守的那种对理解的肤浅框定，掩盖了这些例子共同指向的更深层关切。它们与其说关乎任何人的心理状态，不如说关乎事情出错时会发生什么。陶（Tao）的设想关键在于：AI 有可能通过利用试验本身的弱点而通过了试验。一篇作者无法解释其主张的论文，一旦这些主张失败，就无人可以咨询。

我们究竟是在什么时候开始相信，科学价值仅仅在于正确性？

这种直觉最终看来并不像表面那样关乎 AI。让 AI 驱动科学的倾向，与其说是表明一个人对我们与 AI 共处的未来有多么前瞻，不如说是一种自冷战时代以来一直塑造我们思维的“价值无涉理想”的症状：这种观点认为，只有认识论标准（而非伦理和社会价值）才配在判断证据表明了什么时占有一席之地。它渗透进我们关于 AI 用于科学的争论并不令人意外；拒绝价值无涉理想成为哲学主流，不过是最近几十年的事。

这种理想助长了不切实际的期望，并使我们看不到：抵制 AI 产出迅速渗入科学记录，既不是反 AI，也不是反科学。其利害关系比任何一场争论或任何一个领域都更大。价值无涉理想扭曲了我们寻求真理的方式，使我们把经过验证的结果误认为知识。它威胁着维系科学的人类能力，使我们把批评和问责视为不便的额外负担，而非知识生产的机制。它让我们对理解是什么、进而对理解为何重要感到困惑。

科学的社会契约代表着二战后在美国兴起的科学与社会的理想化关系：科学家获得公共资助和自主权，作为回报，社会获得他们探究带来的益处。这一社会契约建立在纯科学与应用科学的区分以及“线性模型”（基础研究滋养应用工作）之上，用实际的社会效益取代了关于理解之价值的抽象论证，重塑了我们对科学的看法。它借鉴了 19 世纪末忧心忡忡的科学家们的论点——他们担心公众对电灯、蒸汽机等新发明的颂扬会挤占对他们眼中更本质贡献的尊重——也帮助锻造了一种价值无涉理想，即科学在核心上必须脱离伦理或社会关切这类“语境价值”。要使社会契约作为科学进步的模型获得广泛的社会认同（并由此支撑政府对科学研究的投资），我们需要把寻求真理想象为对方法的非人格化应用，不受政治或社会压力的影响。

科学哲学家们曾渴望一种仅基于“认知”价值的探究。任何来自科学家意图或价值观的影响，都被视为正确方法应当尽量降低的风险，这为今天的问题奠定了基础：只要主张是正确的，为什么还要在意是谁提出的。

关于AI在科学中作用的许多争论，归根结底在于科学真理是否能够仅通过使用正确的程序来实现。在19世纪末到20世纪初，几乎存在一种道德化的驱动力，要尽可能将科学家的自我从科学过程中消除，以便对个人的信任可以被对系统的信任所取代。

被放归到科学文献中的AI代理，能够自行进行实验验证和干预，看起来像是19世纪科学伦理期盼已久的实现。许多“AI for science”的论调继承了我所称的“科学天然对齐”前提：通过大规模实施科学方法及其各种辩护程序，我们可以达到一个不再需要人类判断来产生真理的境地。

真实的东西真的能与理解或问责如此分离吗？数学在最近的争论中成为核心，因为它提供了一个正确性可以被干净分离的案例；一个证明可以由AI验证，而无需任何人理解其运作方式。数学家在验证之后仍然想要的，是机械客观性无法提供的线索。

科学哲学家现在普遍反对价值无涉理想，认为它既不合适也无帮助。价值的进入是因为我们拒绝还是接受假设，取决于我们如何权衡后果。即使在数学这样的抽象领域，也常常有太多可能的真理，以至于在筛选它们时不可能不引入价值。数学家早已接受，原则上机器可以枚举从给定公理集能够证明的定理集合。然而这个空间规模巨大，促使人们寻找巧妙的捷径来探索它。

但即使有了大规模的自动定理证明，并非所有定理对人都同样有趣。价值内在于导致某些开放问题获得广泛吸引力的选择中，也内在于共同体接受并内化结果的过程中。费马大定理最初受到关注，并不是因为它是一个本质上重要的猜想，而是因为费马声称有一个证明却从未提供，诱使其他人尝试。当有人证明它可由模性猜想推出时，它才成为核心问题，该猜想提出了数学不同领域之间此前未曾预料的联系。在同行评审发现一个错误并导致原始证明的修正版本之后，它被认为已解决，尽管形式化验证直到最近才出现。认知品味之所以发展，是因为没有它，我们将面对未经区分的事实洪流。品味是一种我们随着时间发展的能力，我们选择问题、追求其中一些，并看到哪些带来新的理解或想法。

如果AI接管了选择，我们就有可能失去个人成就感与社群协作——而正是这些激励着许多人最初想要培养科学判断力。Tao也提出了类似观点，他将开放性问题框定为灯塔而非目的地。用AI过早抵达这些灯塔，可能会使它们周围的领域变得贫瘠。如果在各领域被AI改造的过程中，我们不再培养出能够判断什么有趣、什么与人类愿景相一致的人，我们最终可能得到一门无法服务于人类基本利益的科学。它的成果会消耗目标受众的注意力，却既不为后续发现提供养料，也不为塑造下一代的进程做出贡献。

这听起来开始像是为一种新的科学线性模型提供理由，该模型确保即便AI变得比普通数学家更出色，人类的反思与探究仍得以延续。在没有人类介入的情况下推进，风险在于漂移，任何严重依赖智能体来完成工作的人都清楚这一点。即便你认为自己为实施和验证一个想法提供了规格明确的流水线，也很容易陷入某个你从未预料会涉足的枝节中难以自拔。当你不去主张认知能动性时，很容易得到一个“无处之见”——它不是纯粹客观性的形式，而是一个没有对应问题的答案。保持对齐不是一个解决一次就可以放手的问题。它需要源源不断的人，能够阐明并在各种价值之间做出裁断。

机械客观性试图用对程序的信任取代对个人的信任，但这种替代从未如预期那样发生。要理解原因，我们需要审视求真所依赖的互动。

有一种倾向，把科学的社会层面视为与理性相对立。科学的社会层面可能产生病态现象，比如糟糕的惯例、从众行为或对声望的盲从。但我们所知的科学知识，一直是众多认知主体带着价值观和专业知识参与、并在面对挑战时修正自身观点的产物，而不是来自某个外部验证引擎。

正如哲学家Helen Longino所论述的，客观公共知识的基础是一种共享语言，以及一种信念：我们所描述的事物独立于我们感知它们的方式而存在。如果我们能就世界的描述达成一致，那么两件事就成为可能：我们可以借助他人的经验来获取知识，并且可以有意义地批评科学主张。

科学共同体发展出共享的标准和词汇，使我们能够在他人的发现基础上继续构建。我们不需要事事亲自验证，而且有时依赖他人的发现比我们自己调查能为我们相信某事提供更好的依据，尤其是当他们拥有我们所缺乏的证据或专业知识时。

没有批评，我们就无法拥有客观性；正如Longino所说，它“取决于任何特定科学共同体中所发生的变革性审问的深度和范围”。批评要具有变革性，就需要有人有义务去接纳它。

同行评审和发表后批评等实践不仅仅是为了筛选出假阳性的核实手段——它们关乎共同体成员如何相互要求对方履行其主张所蕴含的承诺，并就个人偏好的影响应在何处划界进行协商。正如Longino所解释的：“同行评审的功能不仅是检查数据看起来是否正确、结论是否推理充分，而且还要对现象引入另一种观点，这种观点的表达可能会促使原作者修改他们思考和呈现其观察与结论的方式。”

方法本身最好被理解为一种社会过程，其中进步取决于一个共同体维持批判性对话的程度。这种对话塑造了其中的人，塑造了理解和运用判断对这些人意味着什么，以及它所生产的知识。

如果批评和信任他人主张的能力是知识生产不可或缺的组成部分，我们或许要问，AI能否履行这些同样的功能。模型能否在没有人类参与的情况下实现变革性批评？我们能否在自身未获得直接理解的情况下信任AI智能体的主张？如果我们这样做了，我们自己质疑、批评和支持结果的能力又会发生什么？

认为只要某个结果正确，是谁断言的就无关紧要，这种观点对应于哲学中的可靠主义认识论。经典认识论坚持认为，真信念只有在信念者能够为其信念提供理由时才算知识。相比之下，可靠主义认识论主张，真信念至少在某些情况下可以代表真正的知识，即使信念者无法提供辩护理由，只要他们是在那些情形下通过运用可靠地产生真信念的能力而获得这些信念的。

但可靠性所能提供的东西是有限的。哲学家Robert Brandom 设想了一个共同体，其成员持有真信念，这些信念是他们通过可靠手段获得的，但他们无法为其中任何一个提供理由。由于将可靠性归于他们信念的来源本身就会提供一种基于推理的辩护形式，该共同体无法知道他们是可靠的。作为指示其周围环境某些情况的工具，他们是可靠的，但无法认识到自己如此。Brandom总结道，由于他们甚至无法拥有可靠性的概念，他们不可能拥有知识。

如果仅凭可靠性无法产生知识，那什么可以？Brandom的回应是，将某物称为知识是一种社会行为。要称某人所拥有的为“知识”，我们必须赋予他们一种承诺（即他们相信那件事）以及对该信念的资格（即它是有辩护的）。但我们也必须自己承担这一承诺，即我们认可该信念。

最先提出该主张的科学家让我们得以复述这一主张（并从中得出结论），同时在他们受到质疑时仍要负责为其辩护。在人类科学中，我们做这件事相对容易，因为如果发现最初的断言有问题，我们有一个可问责的来源可以咨询并加以解决。断言具有社会意义，因为我们可以让原作者对其所言负责。这就是对科学而言最重要的理解意义，也是数学家在证明得到验证之后所想要的，也是陶哲轩那位病人所想要的：结果可以被质询，并在需要时被重新概念化，以避免出现那种无助于实现我们目标的虚假进步感。

但当我们依赖自己无法理解的 AI 结果时，能求助的只有结果上署名的那个人。这正是 arXiv 所关注的问题：没有作者能对自己无法理解的东西负责，因此他们无法通过说明其依据是什么、或者是否应当撤回，来回应批评。换句话说，形式上的作者身份存续，而实质性的作者身份在削弱。于是我们失去了变革性批评的潜力，而正是这种批评首先支撑了我们对“客观”结果的概念。

一个自然的问题是，我们能否把批评提交给 AI 智能体本身，让它决定是捍卫结果还是承认并修改。AI 成为能够对自己的断言作出承诺的认知主体，这意味着什么？

当今的智能体有几个挑战需要克服。其一是它们缺乏我们所归于人的那种持久性和身份认同。一个智能体在某个会话中撤回了它先前的断言，并不一定会在下一次会话中维持其更正或更正背后的推理。如果每个新结果都由一个新的定制多智能体基础设施产生，那么就很难像人类科学家网络中自然发生的那样去“记分”。

科学知识生产依赖于有切身利害的认知主体。提出糟糕的主张会改变科学家在共同体中的地位，这正是对个人的信任得以保持校准的方式。目前尚不清楚，AI 智能体在撤回其断言时面临什么样的可比损失，尤其是考虑到它缺乏持久性。

要克服这些局限，需要我们在开发 AI 的方式上作出相当大的转变：从在每次交互中提供最大帮助，转向像人类科学家那样在多次交互之间保持可问责。这很可能是可以做到的。但我认为，从我们人类的视角来看，可问责的 AI 并不足以支撑有意义的科学。

假设我们成功开发出了能够为断言负责的智能体。这只是问责要求的一半，我们还需要其他人能够追究它们的责任，通过要求提供证据、质疑假设、识别出回答何时在回避问题。对他人断言的认可，其价值只取决于我们参与我们所认可之内容的能力。

这些能力是通过锻炼它们、选择问题、为我们的工作辩护、审阅论文、质疑他人的结果而建立起来的。当我们不锻炼自己的能力时，我们就会失去它们。如果没有人能判断一个完全可问责的 AI 的答案有多好，我们从中获得什么并不清楚。理论上我们会有求真，但没有人能够做到。

瑟斯顿对数学成功的概念指向了这种共同的能力，即质询、扩展和修复一个领域的知识，这正是他所暗示的。正如他所说：“只要该领域的人确信这个想法可行，它就不需要有正式的书面来源。”验证可以告诉我们一个结果在技术意义上通过了检验，但只有一群准备支持它的人才能将其转化为知识。

如果我们继续诉诸于将正确性视为唯一重要的无价值理想，我们将继续构建优先考虑答案而忽视求真和对能够使其有意义的人的理解的工具。

Cosmos Institute 是哲学家-建设者学院，技术专家为人类繁荣构建 AI。我们运营奖学金、资助快速原型，并与牛津、阿斯彭研究所和自由基金会等机构举办研讨会。