跳到正文
Hacker News· dgacmu·· 8 天前AI 评分62

LLM 在数学领域的两种未来:Anthropic 与 OpenAI 的路线对比

Two Futures for LLMs in Mathematics

AI 导读

作者 David G. Andersen 对比了本周 LLM 用于数学与理论计算机科学的两种做法。Anthropic 将结果交给 Josh Alman 和 Virginia Williams,两人据此完成一篇完整论文,用精细计数把 3SUM 从 O(n²) 降到 O(n^1.9992),并连带削弱了一批此前被猜想为困难的问题。

正文 · AI 翻译

David G. Andersen 2026年10月08日

本周,我们看到了两种截然不同的将大语言模型用于数学/理论计算机科学的方法。

一方面,Anthropic 向 Josh Alman(哥伦比亚大学)及其在 MIT 的前导师 Virginia Williams 提交了一项成果,两人都以证明矩阵乘法可以比之前认为的略为更廉价地完成而闻名。他们通过非常仔细地计算现有矩阵乘法“激光”方法各个部分实际需要多少次运算,发现可以在各处削减一点点。

这两位研究人员研究了 Anthropic 的成果,并将其转化为一篇完整详尽的论文。这篇新论文并非直接关于矩阵乘法的结果;它是一种利用特定类型的矩阵乘积来打破某些长期存在的界限的方法,这些界限存在如此之久,以至于人们开始围绕其困难性构建理论,例如 3SUM:

几十年来,没有人能弄清楚如何在次二次时间内更快地完成 3SUM,即对于某个 e > 0 的值,达到类似 O(n2 - e) 的时间,尽管我们并未具体证明它需要这么长时间。 这篇新论文表明它并不需要。 这项工作与他们之前的一些矩阵乘法工作感觉非常相似,因为它同样使用非常仔细的运算计数,将复杂度从 O(n2) 降至 O(n1.9992)。这仅仅比 O(n2) 好了一点点,但这一点点很重要,因为这意味着我们的假设是错误的,并且使用相同技术,其他一些先前推测的困难性也随之被降低。这在其子领域中是一个相当大的成果。

另一方面,OpenAI 发布了一个包含 700 多份质量参差不齐的 PDF 的仓库,其中一些附有 Lean 证明,一些没有,很少有经过明确人工审查的。一些声称的结果如果属实,几乎令人惊叹。其中一个引人注目的结果是关于矩阵乘法的,这正是上述两位研究人员的专业领域。对于两个 n × n 方阵,直接相乘的方法是 O(n3): 你有 n2 个输出单元格值,每个值来自两个大小为 n 的输入的点积(需要 n 次乘法)。但我们已经知道其中存在一些冗余计算;那个指数,我们称之为 omega(ω),小于三,但具体能是多少尚不清楚。已经有一系列 一系列实用且主要是理论的优化,导致了之前的最先进上界,即略显笨拙的 O(n2.371177)。

OpenAI 的 PDF 声称将 ω 降至 2.25,即 9/4。 这将意味着几件事。首先,这将是自 1981 年 Schönhage 降至 2.522 以来我们看到的最大降幅;其次,这是自 1990 年 Coppersmith 和 Winograd 将结果降至 2.3755 以来首次出现的“大幅”降幅。 而且,得到一个有理数界限 9/4 将令人极其满意,尤其是因为在我看来,它更有可能直观地说明问题中被忽视的某些结构。

请允许我用论文引言材料中的几个片段来说明这些论文。看一看并读一读,问问自己是否理解它们所说的内容。来自 Alman 和 Williams:

3SUM:给定 n 个数,判断其中是否有三个数之和为 0。这是一个历史悠久经典问题,也是计算几何的核心问题(见 [GO95])。尽管经过数十年的研究,算法课上教授的 O(n2) 时间算法也仅仅被加速了多对数因子 [BDP08, GP18, Cha20]。

来自 OpenAI 的 pdf 转储:

ℂ 上矩阵乘法的指数 ω 是实数 τ 的下确界,使得对于每个 ε > 0,两个 n × n 矩阵可以在 Oε(nτ + ε) 次标量算术运算内相乘。维数 n 趋于无穷;算法及其常数可能依赖于 ε。

我的意思是,没错,但这不是你为人类写的论文第一段该有的写法。对比一下 Williams 关于同一主题的一篇人类撰写的论文:

矩阵乘法是一种基本的代数原语,其应用遍及计算机科学乃至更广领域。自 Strassen [Str69] 于 1969 年发现 2×2 矩阵乘法的秩为 7(而非 8),从而得到第一个真正亚三次的、O(n2.81) 时间的 n × n 矩阵乘法算法以来,对其算法复杂度的研究一直是理论计算机科学和数学中一个活跃的领域。五十五年过去了,研究者们仍在试图降低指数 ω,其定义为使得对所有 ε > 0,n × n 矩阵都能在 O(nω+ε) 时间内相乘的最小实数。

这个我能读!我喜欢!我想读更多!

而 OpenAI 的论文里充满了让我困惑的东西。例如,看这一行:

我们通过并置或 ⊗ 来写乘积。零张量是 0,标量张量 xyz 是 1,整数 m ≥ 0 表示 1 的 m 份直和。因此 mA = A⊕m。

我认为这是有意使用该记号,但作为人类,当你向我引入一个符号,然后在下一行使用一个你从未引入过的、字体略有不同的符号时,我的头有点疼。(注意他们引入了带圈乘号,然后在解释整数-矩阵乘积时使用了带圈加号)。而且那里的记号整体上让我感到困惑。

这只是众多例子中的一个,而且可能还是较有把握的一个,因为至少这个有一个 Lean 版本证明了一些东西(证明了什么我还不确定——它证明了 2.25 的结果吗?那需要一些时间和专家评估)。互联网上充斥着人们在这些论文中发现缺陷的消息;其中三篇已经因错误导致无效而被撤回。这些 PDF 中的文字非常有 AI 垃圾的感觉。

我喜欢指出,当你写作时,你有责任确保你的读者理解你写的内容。你一个人投入一些时间,而可能有成千上万的人阅读你写的东西。他们集体理解你所花费的努力远高于你清晰表达所需的时间。

同样的道理也适用于这里,但也许放大了 100 倍:成千上万的人将不得不浪费时间阅读这份转储,并可能试图确定它是否正确,而那是极其困难的工作。如果有一两位专家在向世界抛出未经筛选的转储之前审阅、修订并清晰地呈现材料,那些时间本可以花得更好。

我们已经看到两种让内部先进 AI 与研究世界互动的方式,而我知道自己更喜欢哪一种:那种产生了以人为中心、信息丰富且读起来有趣的结果,并且让我更有信心没有把时间浪费在阅读有问题的东西上。

来源:Hacker News · wiredream.com