如何解读“定理因在 Lean 中通过检查而正确”的说法
Interpreting claims that a theorem is correct because it was checked in Lean
针对“定理因在 Lean 中通过检查而正确”这类说法,需先回答四个问题才能下结论。OpenAI 上月公开的 722 篇数学论文中约 45% 附带 Lean 代码,但其中约 38 篇的 Lean 代码甚至没有陈述论文主定理。作者强调,若代码由 AI 生成,还需先做系统性测试,而 OpenAI 定理库中许多论文尚未完成这些测试。
本文试图用通俗的语言解释如何理解“这个定理是正确的,因为它在 Lean 中经过了检查”这类说法。总结如下:从 Lean 代码中可以提取出一个重要的信号,但如果这些代码是 AI 生成的,那么你需要先做一些测试。我们会解释这些测试,并指出在许多情况下(例如 OpenAI 的定理转储),这些测试尚未被系统性地完成。
引言
上个月 OpenAI 的定理转储 包含 722 篇数学论文,其中约 45% 附带了一些 Lean 代码。其中三篇(未 Lean 化的)论文此后因符号错误而被撤回。有人可能会说:“好吧,附带 Lean 代码的论文肯定是正确的,因为 Lean 就是这样工作的”。另一些人可能会说:“好吧,Lean 曾有一个 可靠性漏洞,而且很可能还有更多,AI 会进行奖励黑客攻击,所以 Lean 验证根本说明不了什么”。不出所料,真相更为微妙,本文试图对此加以解释。
本文按四个问题的顺序组织,在人们能够开始做出这种形式的正确性断言之前,需要针对一个 Lean 仓库(尤其是当它是 AI 生成的时候)提出这四个问题。在开始之前,我要强调,对于 OpenAI 定理转储中的许多论文,这些问题尚未全部得到肯定回答(但没有什么能阻止人们回答这些问题,我也没有理由相信下面的任何测试会失败,只是人们还没有做这些测试而已)。
问题 1. Lean 陈述与 informal 陈述是否一致?
一个 Lean 仓库通常会有一个“标题定理陈述”。这会是一些计算机代码,它定义了一个定理的陈述(而不是证明!)。请注意这里陈述与证明之间的巨大差异。例如,下面是一些可以完全编译的 Lean 代码,它定义了一个数学陈述。
这段代码导入了 Lean 的数学库 Mathlib,然后定义了一个数学陈述,乍看之下它可能像费马大定理,但实际上是一个平凡为假的陈述,因为在 Lean 中 ℕ 包含 0,所以 a = b = c = 0 和 n = 3 给出了一个反例。这并不妨碍该陈述通过编译!然而,它会阻止该陈述的任何证明通过编译。Lean 仔细区分定理的陈述和定理的证明;人类非常擅长把这两种概念都称为“一个定理”。
在评判附带一些 Lean 代码的 pdf 时,必须问的第一个问题是:“Lean 代码中定理的陈述是什么,它是否与 pdf 中实际的定理陈述相对应?”对于人类 Lean 专家来说,这通常(但并非总是)是一个容易回答的问题。例如,任何具备 Lean 能力的的人类数学家都能读懂上面两行代码,并观察到这是对费马大定理的错误陈述。
然而,事情并不总是这么简单。目前,由于可用库的不足,人们可能不得不阅读数千行代码,仅仅为了理解一个形式化定理的陈述。当前的一个例子是DeepMind形式猜想仓库的一个PR,其中包含Hodge猜想陈述的Lean形式化。在撰写本文时,该陈述依赖于建立在Mathlib之上的超过10,000行代码,因为Mathlib(经过人工专家仔细检查且可以信任)尚未拥有诸如循环类映射之类的定义,而这些定义是做出该陈述所必需的。另一个例子是Axiom最近宣布的形式化验证的有限单群分类证明。Axiom系统所证明的陈述在Tau Ceti中这里,Tau Ceti是一个AI生成的Lean代码库。包含该陈述的文件导入了Tau Ceti中超过25万行Lean代码(超过900个文件)。其中,大约5600行代码至关重要,因为它们包含了所有相关定义(例如,所有散在单群的定义,其中大部分仍不在Mathlib中)。如果没有人工检查,人们并不能真正确定这确实是分类的正确陈述(并且请注意,我还没有遇到任何声称仔细检查过Tau Ceti中散在群定义正确性的人)。事实上,我们拥有的最强证据表明该陈述被正确形式化的是,Axiom的代码证明了它!
值得注意的是,在290个附带Lean代码的OpenAI定理中,大约有38个具有这样的性质:Lean代码甚至没有陈述,更不用说证明论文的主要定理。而OpenAI从未声称它做到了!他们只是说“这里有一些与这篇论文配套的Lean代码”。有时代码只是陈述并证明了一些中间结果——我的印象是,OpenAI在一些形式化尚未完成时就决定上线,所以只是把他们已有的东西扔了出来。举一个具体的例子:论文194声称证明了交换代数中的Lech重数猜想,对维数、剩余域或特征没有限制;这个问题自1960年以来一直悬而未决。相应的Lean代码中的标题定理可以核实为论文的推论5.4——这已经是一项令人印象深刻的成就,但不是主要结果。
问题2:代码能编译吗?
一旦你确信你理解了Lean代码声称要证明的定理的陈述,你(或者也许是你的某个能访问强大机器的朋友,如果代码库很大的话)就必须实际编译代码。
当Anthropic在Lean中形式化了费马大定理的证明时,他们让我看看他们生成的1300万行代码。我把它下载到我的机器上,扔进一个沙箱(因为谁知道AI生成的代码会做什么,理论上它可以删除你所有的文件),并尝试编译它;我很快就内存不足了。我告诉Anthropic,在我看到代码库编译之前,我无法对他们所做的工作做出任何断言,然后他们给了我临时访问一台拥有96个核心和500GB内存的机器的权限。然后我就能编译代码了。
当然,对于规模更合理的代码库,是可以在配置合理的机器上编译代码的。例如,OpenAI 对 Navier-Stokes 问题的解答是 640K 行代码,在我的笔记本电脑上就能顺利编译。
可能值得再次强调:除非先做好沙箱隔离,否则不要在你的本地机器上运行随机的 Lean 代码。Lean 的数学库可以安全运行和构建,因为它是人工整理并由人类专家检查的。AI 生成的代码则不然。
问题 3:代码是否证明了所陈述的定理?
我在问题 1 中已经谈过检查定理陈述的重要性,这样我们才能确信代码证明的是正确的东西。然而,这里还有一个额外的复杂因素。理想情况下,定理的陈述会包含在一个除 Mathlib 之外几乎没有导入的文件中,这样我们就知道可以信任它。但定理的证明必然会导入成千上万甚至数百万行没人愿意读的代码。我们如何确定,在数百万行的证明文件中没有隐藏某种伎俩,把 x^n 重新定义为 37 的含义,然后证明 a^n + b^n ≠ c^n,因为左边是 37+37=74 而右边是 37?或者添加一条新的数学公理,声称该定理为真?换句话说——给定一个只导入了可信代码并包含定理陈述的 Challenge.lean 文件,以及一个导入了数百万行不可信代码并包含一个看起来完全相同的定理证明的 Solution.lean 文件,我们如何确定在数百万行代码中某处没有某种黑客手段改变陈述的含义、改变规则使其不再只是数学公理,
一句话回答:lake comparator。你可以在这里阅读更多关于这个答案的内容。但简而言之,这个工具会检查在可信文件中陈述的定理与通过不可信导入所证明的定理是相同的,并且证明中只使用了数学公理。
问题 4:代码是否利用了 Lean 官方内核中的漏洞?
这是可能发生的。Lean 的内核中曾有一个可靠性漏洞,在被发现四小时后就被修复了,随后 OpenAI 对 Lean 代码库的审查又发现了几个,所有这些都在公开宣布之前被修复。理论上 Lean 的内核中可能还有更多可靠性漏洞。然而,这并不重要。
为什么不重要?因为 Lean 现在有许多由用户创建、用许多不同语言编写的内核,其中至少有一个已被形式化验证为没有漏洞,一直验证到汇编级别。如果你想绝对确保没有奖励黑客行为,那么同样有一句话的答案:lake comparator --paranoid。一段利用 Lean 官方内核中尚未发现的漏洞的恶意代码将无法通过这项测试,除非它同时利用许多独立系统中尚未发现的漏洞。例如,来自 Lean 内核竞技场的这个网页表明,OpenAI 对 Navier–Stokes 问题的解答被多个内核以及 Lean 的官方内核所接受。
最后一点说明
即使 Lean 代码能够编译并通过所有这些测试,从而极有可能是一个定理的正确证明,这也不意味着任何对应的 pdf 也包含正确的证明!事实上,Navier–Stokes lost in translation 论文 针对 Navier-Stokes 的文稿展示了相反的情况;尽管上述所有测试都已针对 Navier-Stokes 的工作运行过,但仍存在 pdf 证明与 Lean 证明出现分歧的实例。在这些情况下,谁知道 pdf 证明是否没问题!据我了解,一些专家一直在使用 AI 将 Lean 证明非形式化地转回英文,以便阅读论证,而不是费力地啃 pdf 里的那些粗制滥造的内容。
总结/结论
“这是真的,因为它在 Lean 中经过了检查”这句话是可以成立的。但人们必须在“Lean 代码能编译”之外再做些工作。你的前沿 AI 模型可以完成所有这些工作。但这些工作必须得做,而且(取决于证明中 Lean 代码的数量)可能在计算上代价高昂。
来源:Hacker News · xenaproject.wordpress.com