前 OpenAI 工程师称通过权重初始化指纹分析发现 DeepSeek、Moonshot、MiniMax、蚂蚁集团使用 NVIDIA Blackwell 芯片训练模型

我有一个重大结果要分享。

我找到了确凿的取证证据，证明中国排名前四的 AI 实验室——DeepSeek、Moonshot、MiniMax 和蚂蚁集团——都是基于 NVIDIA 最先进的 Blackwell 芯片构建了各自最新的模型，而这些芯片是被禁止出口到中国的。

这听起来很疯狂，但我发现几乎每个 AI 模型都带有训练它的 GPU 的隐藏特征。当模型首次初始化时，其权重的初始值会以一种取决于具体 GPU 的模式排布。每一种 GPU 与种子数的组合都会产生一种独特的模式——一种用于创建该模型的硬件的指纹。这种模式的痕迹会经过训练保留到发布的模型中。

再次强调，这一证据并非基于任何内部消息或泄露。它基于对各公司自己发布的模型权重所做的取证分析。

我搜索了超过六万亿种芯片布局与种子数的组合，并将它们与开放权重模型进行匹配。在此过程中，我找到了确凿证据，证明六个中国 AI 模型——包括 DeepSeek-V4-Pro、Kimi K3 和 MiniMax-M3——是在 NVIDIA Blackwell 系统上初始化的。其中四个模型匹配 Grace Blackwell，即 NVIDIA 旗舰级液冷机架式系统中的 GB200 和 GB300 部件。

随后我在真实硬件上验证了这些结果。使用我恢复出的种子运行未经修改的 PyTorch，一台 Blackwell B300 逐比特复现了 DeepSeek-V4-Flash 未经改动的初始权重，而一台租用的 GB200 复现 Kimi K3 的相关性达到 0.999995。一台 Hopper H100 未能复现 DeepSeek-V4-Flash 的任何权重，而将种子改变一个数值就会使匹配失效。（顺便说一句，DeepSeek 的种子是 953049583。）该方法还被验证能将 24 个已知的开放权重模型匹配到开发者声称所使用的硬件。

这些结果是巧合的可能性极小。在六万亿种组合中，最佳的偶然匹配应只能达到约 8 sigma（即比随机偶然产生的结果高出八个标准差）。而真实匹配的范围为 49 到 1,385 sigma，即使是最弱的单项测试也达到 20。

这些是数据中心规模的训练运行。通过对发布时间表和模型细节的一些分析，我估计最大的 Kimi K3 和 DeepSeek-V4-Pro 各自使用了 2,000 到 3,000 块 Blackwell GPU。这种规模的集群每套采购成本约为 1.5 亿到 2 亿美元，仅这些实验室加起来就会构成超过五亿美元的受出口管制 GPU，还不算实验性算力或其他方面。我们很可能看到的是数十亿美元级别的受出口管制 GPU 支出。

我对这一结果高度自信，并且它已得到 OpenAI 和 Anthropic 资深研究人员的独立验证。你可以在 unemploymentlabs.com/checkpoi… 阅读完整报告。

通过这类检查点取证的其他形式，我还发现了关于这些模型的更多信息，很快会有更多内容分享。