LLM 并非超人：GPT-6 Astra 直接读写神经网络权重的能力被高估

最近一篇论文提出，前沿 LLM 可以直接处理神经网络权重。这看起来像是超人能力，但其实并不是。

论文显示，GPT-6 Astra 能够接收一个小型神经网络并直接与其权重交互，“远远超出我们对人类或传统算法的预期”。具体来说，Astra 仅通过查看权重就能识别出一个小型网络¹被训练来玩什么游戏，甚至还能自行调整权重。最令人印象深刻的结果是，Astra 通过原生编辑一个 0.8B Qwen LLM 的权重，显著提升了它的数学能力。这里值得兴奋的原因是，“提升语言模型的超人能力”恰恰是可能引发递归自我改进的那类能力。

我认为一个聪明的人类机器学习研究员可以完成所有这些任务。根据网络推断出一个模型被训练来玩什么游戏，听起来很厉害，直到你考虑三点：

模型的输入通道直接监听每个 8x8 网格单元
输入通道是有标签的（例如“智能体”、“移动物体”）
因此，计算²第一层权重关注网格的哪些部分以及为什么关注，相对而言是微不足道的

下面是这个计算用三行 Python 表达为热力图：

d = np.load("a9f535cc.npz")
W1 = d["actor/dense1/kernel"]
norms = np.linalg.norm(W1.reshape(10,10,5,32).transpose(2,0,1,3), axis=-1)  # 5 x 10 x 10

下面是每个游戏的热力图：

如果有人给你看那张热力图但不给游戏标签，我认为你至少能立刻识别出前三个游戏，纯粹通过注意到玩家在哪里（例如 Breakout 中，在底部的一条水平线上）以及移动物体在哪里（例如 Pac-Man 中，在标志性的 Pac-Man 迷宫里）。Astra 能够在“头脑中”不执行 Python 就计算出范数，这很巧妙³，但并没有那么令人印象深刻，当然也不应该让任何一直关注此事的人感到震惊。

我不打算逐一过一遍论文中的每个例子⁴，所以让我们直接跳到最令人印象深刻的一个：修复一个 0.8B Qwen 模型的数学能力。0.8B 是很多参数，而“数学”比“根据玩家如何移动来猜游戏是什么”要复杂得多，而且编辑权重可以说比解析权重更难。这里发生了什么？

首先，请注意 Qwen 模型在纯粹能力意义上并不“擅长数学”。它有一个具体问题：在 32k token 之后会陷入循环，因此任何需要超过 32k token 的数学任务都会自动失败⁵。如果你有一个这样循环的模型，你会如何更新权重来修复它？就我个人而言，我会尝试引导：我会写一些会循环的推理文本和一些不会循环的推理文本，计算循环和非循环残差之间的差异，衡量每个权重对该差异的贡献程度，然后尝试手动修剪那些排名靠前的权重。这基本上就是 Heretic 的消融操作手册。

这正是 Astra 所做的！它写了四对文本，测量⁶了导致循环的权重，开始削减这些权重并测试是否有效，最终找到了一个补丁，阻止了 Qwen 模型的循环，从而使其能够处理超过 32k token 的数学问题。再次强调，这正是一个有能力的人类研究者所能且会做的事情。

Astra 能够直接更新权重，这很酷。但我们不应将其视为一种将改变 AI 研究方式的根本性新能力。我们应将其类比为 LLM 输出机器码并调整编译后二进制文件的能力：这是一个令人印象深刻的技巧，但处理二进制文件的最佳方式仍然是编写源代码并编译它。同样，更新模型权重的最佳方式是正常训练它。智能 LLM 对 AI 研究的帮助，将体现在改进训练上，而不是直接神奇地调整模型权重。

编辑：这篇文章在 Hacker News 上获得了一些评论。

大约 17k 个权重。
↩
通过计算第一层 32 个权重中每个输入的 L2 范数。
↩
请注意，这是超人级别的心理数学，而非超人级别的 AI 研究。
↩
我跳过的最令人印象深刻的一项是手写一个从零开始的神经网络。虽然很酷，但如果你能将任务表达为一个简单程序，我们已经知道可以将该程序表达为神经网络，甚至由未增强的人类来完成。
↩
所有 <32k token 的问题都在原始 Qwen 模型上成功解决了。
↩
与玩具游戏网络不同，它可以访问 Python。
↩

以下是与本帖共享标签的相关文章的预览。