为什么"开放权重模型危险论"站不住脚：Anthropic 的 GLM-5.3 报告与网络风险话语的失灵

我已经听过太多次关于开放模型网络风险的讨论了——有人假设禁止开放模型可以在孤立环境中进行（而恶意行为者不知怎地就会被阻止），或者认为中国是威胁且不关心AI安全——我觉得我们最终会做出既限制美国AI竞争力又增加长期网络风险的政策决定。我感觉我们正锁定在一条双输的道路上，除非人们接受细微差别、权衡取舍和可怕的现实。

关于这场辩论中各方的观点已经有很多文章，我总结如下：

开放权重模型对社会功能构成不可承受的风险，持此观点的是美国前沿实验室领导层和国家安全界。
西方声音认为开放权重模型对防御是必要的，禁止它们会让世界更不安全，持此观点的是AI风险温和派，程度各有不同。我把自己归入这一类，还有OpenAI事件后Hugging Face的观点，以及像Joshua Saxe这样的人。
中国公司继续发布具有强大网络能力的开放权重模型，他们基于其社会和政府的风险评估做出决策。

这个列表也按照在西方AI生态系统中信息量或清晰度来排列。以风险为重点的讨论显得格外突出，包括一些我认为非常不利于在这个问题上跨越假定党派界限进行接触的作品。也很少有实质性的接触试图理解中国公司如何评估风险——相反，大多是近乎人身攻击的论点，比如“中国实验室不关心安全”。

Interconnects AI是一份读者支持的出版物。考虑成为订阅者。

反开放权重联盟的妄想

“开放权重很危险”阵营的最新出版物是Anthropic关于GLM-5.3作为进攻性网络工具风险的报告。问题不在于他们所做的技术研究，那基本上是合理的，而在于未能涉及更交叉的问题，比如：如果我们因网络风险而禁止开放模型会发生什么，或者为什么中国公司认为这些模型可以安全发布？

这些问题，我稍后会回来讨论，是我们需要回答的，以理解当前AI风险的生态系统视角。所有政策行动都发生在一个多块拼图中，风险形态可以改变，但很少能得到普遍更好的结果。它们都是权衡取舍。

Anthropic这种唯我论的写作与我经常听到的另一种正在决定开放模型和AI命运的话语非常接近——机密简报。我曾与许多人讨论过，他们会说类似“看，我支持开放模型，但如果你看到我所看到的，由于[XYZ中国开放权重模型]，外面就是一场猛攻，我们需要采取行动。”

这种观点与公开信息相悖，迄今为止，公开记录显示闭源模型是大多数现有网络攻击的根源。作为一个试图做出有根据预测的人，OpenAI 模型引发大量攻击的证据，是我关于网络风险形态所掌握的唯一数据（或者，你可以将范围扩大到所有 FelonyBench）。有几种可能的解释，而要得出真正的答案需要数年时间：

也许开放模型权重和闭源模型 API（带有一些安全防护措施）都远比人们以为的更接近容易被滥用，而不是 API 模型更接近安全。“开放危险，闭源安全”的说法可能更接近“开放不安全，闭源也不安全”。
也许愿意使用 AI 模型对美国关键基础设施或强大但准备不足的机构发动“高调”网络攻击的恶意行为者要少得多。闭源模型拥有更强的能力和（理论上）更强的安全防护，但如果两者的防护都存在漏洞，那么更强的能力在净危害方面可能更为重要。
关于网络安全生态系统如何运作，我还有很多需要学习的地方，所以我不会全心全意地将其作为我目前的建议之一来支持，但我认为至少有一个合理的论点：开放权重模型作为网络防御的扩散工具，可能是我们在未来几年防止危害的最佳工具。在许多领域，例如敏感的政府机构，开放权重模型是短期内唯一可以部署在气隙网络上的工具。

这种情况的许多方面似乎都是难以确定的混乱现实，而逻辑上的界限则更为清晰。我可能同意一个简单的现实：作为拥有更多层保护的技术工具，闭源模型在极限情况下要安全得多，但由于模型 API 的易获取性，它们在短期内实际上可能造成更多危害。尽管如此，这些工具的大部分影响归根结底取决于它们如何被使用和控制。如此关键工具的双头垄断可能才是决定性的、有风险的部分。这就是我们正在进行的辩论，随着时间的推移，随着智能的扩散，许多事情可能会发生变化。

这些因素共同让我得出结论：如果你认为需要禁止最新的开放权重模型以减缓网络风险的扩散，那么你可能也需要将前沿闭源模型的面向公众 API 定为非法。目前闭源模型的安全防护体系强于开放权重模型，但远非完美。闭源模型的网络能力很可能比护栏性能提升得快得多，而一个禁止开放模型、闭源模型却继续进步的世界，将会扩大攻防网络差距。如果我们切断对强大开放权重模型的访问，那么构建能让防御者在其私有基础设施上使用强大 AI 模型的缓解措施将需要大量时间。

解读中国的 AI 风险姿态

中国关心 AI 安全。他们以一种与中国文化和权力结构相关的、完全内生的方式进入了这场讨论。这个谜题有一些宏观层面的部分以其他方式体现出来，例如中国社会延伸至 AI 的技术乐观主义，以及中国政府对于政治稳定的绝对专注。当然，这些都与网络安全等新兴 AI 风险相互交织。

他们处于自己的人工智能风险动态之中，这种动态尚未像我们在美国追踪了数月之久的白宫与前沿实验室之间的政治博弈那样引人注目。据我所知，中国公司每次发布重大模型都必须向中国政府登记。这包括评估，而评估最初是围绕对政府禁止信息的管控而设立的。目前尚不清楚这一框架是否已实质性地扩展到网络或生物等风险领域。中国政府非常分散，实验室的信息需要经过现有结构才能上达高层。

与此同时，中国存在一种强烈得多的社会风险氛围，顶尖人工智能研究人员不被允许离开该国，且该行业正对外国投资关闭。总体而言，我猜测，因释放任何国内危害而给人们带来的个人风险，将远高于美国——在美国，最坏的情况是你的公司被关停。

总体来看，政治监督似乎比美国来得早得多。西方人工智能公司的核心原则接近于“阻止坏人用人工智能作恶的最好办法，就是好人用人工智能行善”。在中国，这些公司在打造一款出色工具方面务实得多，而且在许多情况下，是在打造一款能补充其现有业务的工具。

我确实认为这些公司会考虑其工作的全球影响。这些实验室显然也受到激励，并且常常被政府推动（至少在公开表态中）去尽可能竞争。对像Kimi K3这样的前沿模型进行全面的安全评估，可能会在算力上花费数千万美元。这些实验室更愿意把这部分留给训练。

正确的辩论是：“在发布每个模型之前，实验室应在安全测试上花费的最低算力是多少？”肯定有理由认为这比中国实验室所做的要多，或者至少他们应该对自己所做的工作更加透明，但如果你说最低算力应与Anthropic或OpenAI相当，我很难同意。尚不清楚的是，尽管Anthropic和OpenAI为创建一个优先理解风险的机构付出了种种努力，他们是否在其优先级排序中将其置于商业价值和经济成功之前。从HuggingFace—OpenAI事件等事故中透出的这种“放手不管”的感觉，是我持久的收获之一。Hacktron对OpenAI的黑客攻击就是例证——如果你自己的房子满是漏洞，就很难成为世界信赖的网络伙伴。我相信实验室里的许多个人会努力确保安全，但我并不信任这些机构整体。

四月的开放权重Mythos本会没事？

当Claude Mythos发布时，它被预告得仿佛是一类新型网络武器，一旦落入坏人之手，就会造成大规模社会动荡。

看来这是错的。

从各方面衡量，GLM-5.3才是跨过那道能力门槛的模型，而几乎没有公开证据表明情况有多大改变，况且模型权重发布已经过去一个多月了。

事实上，我想更进一步。如果 Claude Mythos 被意外地以开放权重形式发布，世界似乎基本上不会有什么大问题。是的，网络安全事件会明显增加，如果模型泄露，对社会也会不利，但那种情景看起来更像是加速，而不是风险上的阶跃变化。

这波新的开放权重恐慌的主要鼓吹者实际上一直在做出一个可证伪的预测——当前的开放权重模型将通过瘫痪我们的网络基础设施，造成前所未有的大规模 AI 危害。

根据我掌握的所有证据——我在上文已经逐一展开——他们注定会错。至少现在，在围绕开放权重风险争论了这么多年之后，我们将开始得到一些真正的答案。

感谢 Rohit Krishnan 和 Joshua Saxe 对本文的反馈。