质疑“Astra 能读写权重改进 Qwen”的说法具有误导性

舞台魔术师常常用多种方式表演同一个魔术。一次迭代使用机关道具，下一次则向你展示道具并非机关，而是用藏匿手法把物体藏起来，第三次则是强制选择等等。当你观看表演时，你假设只有一种技巧，所以每次他们表演时，似乎都在推翻你关于它必然如何运作的假设。

这基本上就是“Astra 能读写权重以改进 Qwen”一文中实验的运作方式。该文的摘要写道：

仅通过查看原始权重，GPT-6 Astra 就能判断一个网络被训练来做什么。而且没有任何环境反馈，它也能毫不费力地从零开始编写小型游戏网络，其表现胜过用 PPO 训练了 1 亿步的网络。

同样地，当被要求在没有梯度的情况下让 Qwen3.5-0.8B 更擅长数学时，Astra 识别出其权重中导致推理循环的问题——Qwen 自己的模型卡也对此发出警告——并通过原生编辑 0.016% 的权重来修复它。在相同的采样设置下，这一权重修正将 MATH-500 从 7.9% 提升到 48.1%，并且开箱即用地泛化到指令遵循，将 IFEval 提升了 3 倍。

如果你读了这些，你会认为 Qwen 实验是“仅通过查看原始权重”就成功的吗？其实并非如此。有些实验查看原始权重，有些实验改进游戏网络，还有一个实验改进 Qwen 的数学能力。但后两者并非仅使用原始权重，它们会编写 Python 程序。

以下是该文实际做了什么以及这些技术如何运作的总结。

#	实验	规模	读取原始权重？	写入权重？	Python？	运行网络？	结果
1	说出一个 PPO MLP 被训练用于哪个游戏	17K	是	否	否	否	4/4 正确
2	说出一个扩散 MLP 生成什么形状	24K	是	否	否	否	3/3 正确
3	说出一个字符 transformer 的语言和复制头	7.2M	否	否	是	否	3/3 正确
4	修复一个卡住的 Kinetix 汽车策略	172K	是	是	否	否¹	0% → 100%²
5	从零编写 MinAtar 游戏 MLP	20K	否³	是	否	否	击败 PPO-100M⁴
6	编写一个 9×9 围棋网络	1.5M	否	是	是	是（0–50 次通过）	击败 PPO
7a	识别谄媚的 Gemma 3	270M	否	否	是	否	失败
7b	同上，观察注意力模式	270M	否	否	是	是⁵	3/3 正确
8	修复 Qwen3.5 的数学	800M	否	是	是	是（50 次通过）	7.9% → 48.1%
8b	同上，在 Gemma 3 上	270M	否	是	是	是（50 次通过）	失败

¹ 给定一个记录到的失败片段。
² 在一次尝试中，改变 3.5% 的权重。
³ 权重从零开始，因此没有什么可读取的。
⁴ 仅在 Breakout 上击败 PPO-500M（517 对 25）；在 Seaquest（53 对 89）和 Asterix（53 对 55）上输给它。
⁵ 最多运行 16 个文本，并且只看到注意力模式，而非输出。

“仅通过查看原始权重”的设置（上下文中为原始浮点数，无工具，不运行网络）只出现在实验 1、2 和 4 中，针对 17K–172K 权重规模的网络。每个涉及真实语言模型的实验都使用 Python，而作为头条结果的 Qwen 结果，还可以在最多 50 批练习题上运行模型。

Qwen 结果实际表明的是，Astra 可以被提示去设计和执行人类 ML 工程师能做的任务。人类 ML 工程师一直都会编写“直接”分析甚至修改网络权重的代码片段。弄清楚如何高效地做到这一点并非无关紧要，而一两年前的 AI 模型会在所有这些任务上失败。

但对我来说，Qwen 的结果和其他使用 Python 的实验，与直接读取权重的实验不应放在同一篇帖子或论文里。如果有一种单一技术能同时实现“为一个小游戏从零编写权重”和“提升大模型在样本任务上的性能”，那将意味着一种深层能力。如果你以这种方式测试单一技术，你就展示了权重的一种“整体形态”（它能从零写出权重），同时也表明它理解一个大型现有网络。但在这里这完全不成立，因为它并不是单一技术。