跳到正文
Interconnects· Nathan Lambert·· 2 小时前AI 评分36

我对开源模型与网络安全风险的判断错了吗?

Was I wrong about open models & cyber risks?

AI 导读

作者复盘此前“开源权重模型不会造成灾难性网络安全风险”的判断,指出GLM-5.3发布已超一个月,公开证据显示风险更接近加速而非突变,若Claude Mythos以开源权重泄露,世界大体仍会没事。Epoch AI用GLM-5.3在Firefox中发现可静默窃取文件的漏洞链,说明单点漏洞仍需多环节配合才能造成实际危害。作者仍坚持原判断,但承认“没事”一词低估了即将到来的软件行业被迫升级的成本与难度。

正文 · AI 翻译

上周,在包括 PHP2Shell 和 GitLab 在内的一连串严重漏洞披露之后,有人创造了“黑色十月”一词,标志着 AI 模型的网络风险开始成为现实的时刻。在我开始写这篇文章时,新闻周期似乎已经稍微稳定下来,但随后又出现了币安另一起重大加密安全事件的消息。加密行业有着非常悠久的被黑客攻击历史,所以它并不是表明漏洞会转化为新的社会危害的最佳行业。尽管如此,我们仍然在很大程度上生活在这一影响之中。

对网络安全领域正在发生的事情,最好的猜测是,幕后工作只是加速了,带来了更多人和资源来尝试修补互联网——《华尔街日报》报道称网络应急响应人员不堪重负,这看起来像是系统在运转。我们正生活在这个情节之中:漏洞呈指数级上升,而要在 S 型曲线的顶部趋于平稳还需要很长时间。

几周前,在漏洞披露迅速加速、报告的黑客攻击增多之前,我写了以下观点。它一直收到相当持续的反馈,有一些无望的嘲讽尝试,也有一些合理的讨论,所以我想阐明我的立场。

分享

四月的开放权重 Mythos 本来会没事?

当 Claude Mythos 发布时,它被预告得像是新型网络武器,如果落入坏人之手,就会造成大规模社会动荡。

这似乎是错的。

从各方面衡量,GLM-5.3 才是跨越那道能力门槛的模型,而且几乎没有公开证据表明情况发生了多大变化,而距离该模型权重发布已经过去一个多月了。

事实上,我还要更进一步。如果 Claude Mythos 被意外以开放权重形式发布,世界似乎或多或少会没事。是的,网络安全事件会明显增加,如果模型泄露对社会也不利,但那将更像是一种加速,而不是风险上的阶跃变化。

这波新的开放权重恐慌的主要鼓吹者实际上一直在做出一个可证伪的预测——当前的开放权重模型将通过瘫痪我们的网络基础设施,造成实质性的、前所未有的 AI 危害。

根据我掌握的所有证据——我在上面已经剖析过——他们注定是错的。至少现在,在争论开放权重风险这么多年之后,我们将开始得到一些真正的答案。

为了开始反思,我想做更多尽职调查,找出一些证据,来证明 AI 安全社区当时的反应就好像开放权重的 Mythos 会是一场真正的灾难,而不仅仅是一个令人痛苦的头疼问题。这显然是我在经历那场网络讨论后的印象。我受到批评说,前沿 AI 社区从未说过这会是一场“真正的灾难”,但不管他们到底说了什么,关键始终在于人们如何听到并内化你的信息。

以下是一些我觉得过于夸张、且来自知名人士的措辞例子,这些措辞渗入公众、更重要的是联邦政府的视角,即认为这是一种网络武器:

  • 80,000 Hours 播客主持人 Rob Wiblin 在其播客中(2026年4月10日)表示:“如果它落入犯罪分子或敌对国家网络行为者之手,那将是一场真正的灾难。”

  • Anthropic 在 Project Glasswing 发布博客中(2026年4月7日)表示:“鉴于 AI 的进步速度,用不了多久,此类能力就会扩散,可能超出那些致力于安全部署它们的行动者。对经济、公共安全和国家安全造成的后果可能很严重。”

举一个实际上更合理的例子,以说明正确与夸大之间的细微界限,来自Zvi Mowshowitz(我在很多问题上并不同意他)2026年4月9日的说法:“Claude Mythos 会为攻击者提供大量零日漏洞利用,几乎覆盖地球上所有软件……那将是一片混乱。”迄今为止,这种混乱仅限于那些运营大规模数字产品的人,这是好事,但情况可能会改变。

我在很大程度上仍然坚持几周前写下的上述内容,但我对此感到不安。我不是网络专家,我正在努力做出最有依据的预测。“我们所有的科技公司都需要加倍努力来保障我们的安全”和“公共基础设施实际上正在瘫痪”之间只有一线之隔。在撰写本文时,非常明显的是,在流行工具中发现的严重漏洞要多得多,修复程序也正在构建中。

例如,Epoch AI 最近发表了一篇不错的文章,介绍他们使用 GLM-5.3 尝试寻找漏洞并将其串联成可能攻击的内部工作。他们在 Firefox 中发现的实际漏洞利用很好地说明了为什么网络风险需要多个因素同时具备才会造成危害:

我们使用 GLM 5.3 创建了一个网站,Firefox 用户只要访问该网站,无需进一步交互,攻击者就能从用户计算机中窃取文件。

在这里,漏洞利用存在于 Firefox 中,潜在黑客需要植入一个寻找该漏洞的网站。这是可行的,并且可能产生严重后果,但仅仅发现漏洞只是多阶段过程中的一步。

在上一篇文章中,我本应更具体地说明对于网络安全的未来而言“fine”意味着什么,而在这种情况下,它意味着要更多地肯定 AI 安全社区中的一些人,他们合理地将此讨论为网络不稳定的新时代。回想起来,我不确定“fine”是否是描述不可避免之事——一场被迫的行业更新,转向一种与软件协作的新方式,这显然代价高昂,并伴随着一些艰苦工作——的恰当用词。如果你已经对 AI 带来的挑战感到沉重,我认为“fine”实际上非常合适。如果你没有把一段动荡期计入预期,“fine”就低估了。我已多次写道,我属于前者,困难将会到来,群体——但我认为人类擅长勉强应对问题并修补眼前的担忧。

我的观点更接近于:开放模型正在提供平衡,在攻防方程中,而 Mythos 更早出现并不会大幅颠覆这一点。我怀疑这些公司中的大多数会比攻击者更快地采用开放权重模型,因为大多数攻击者的资源比这些公司更少。我们正在关注的一个关键平衡点是,攻击者在美国及其盟友境内造成物理伤害的意愿有多大。目前,虽然我们的对手很可能已经利用这些模型和漏洞以隐蔽方式大规模提取信息,但尚不清楚是否有任何一方会通过将全部力量投向公共机构来造成大规模伤害。

我觉得这条推文以一种有趣的方式总结了黑客行为中的人员/动机差距:

一旦你不再将威胁行为者视为想不惜一切手段闯入系统的黑客,而是开始将他们视为拥有明确业务流程的企业,生活就会轻松很多。

面包店不会因为狗粮短缺就开始生产狗粮。ClickFix 和网络钓鱼行为者也不会仅仅因为一个严重 CVE 出现就放下一切去 vibecode 漏洞利用。

事实上,唯一利用这一点的行为者,正是那些以利用漏洞为作案手法的行为者……这并非巧合。如果你理解威胁行为者的行为,这完全是可以预见的。

Interconnects AI 是一份由读者支持的出版物。考虑成为订阅者。

在我看来,我预计这些漏洞中的大多数是由闭源模型发现的,但我对这个预测有很高的误差范围。很大程度上取决于开放模型在短期内实际如何被使用。如今,开放模型的服务成本很高,而服务最大模型所需的算力极度售罄(我怀疑如果开放模型很快被用于黑客攻击,那是通过安全性不佳的开放模型 API)。长期来看,我非常有信心,随着算力供应变得充裕,开放模型的利润率和价格将被压低,但短期内闭源模型显然更具价格优势。我的许多立场都是确保我们走向这个未来,否则少数公司正在构建生产大量软件(带有漏洞)的工具,同时也在销售修复这些软件的工具。

目前,我们正在处理积压的网络漏洞,同时从以人为中心的互联网过渡到由代理中介的封闭人类活动孤岛。

我认为所有这些更多关乎 AI 的能力和普及,而非开放与闭源模型之争。事实上,我觉得在阅读更多以网络安全为导向的讨论时(例如 Joshua Saxe 或 Chris Hughes 的一些例子),他们更关注生态系统视角,即漏洞利用率和网络攻击总体损害自 ChatGPT 之前很久以来如何增长,以及这些近期事件如何符合趋势。只是趋势线是指数级的。下面是 Saxe 提供的一个趋势示例图——这类生态系统层面的图表将非常清晰地显示 AI 的能力和普及是否是网络攻击的瓶颈(它会看起来像一个阶跃变化):

图片来源:Joshua Saxe

在与接近 AI 社区、尤其是 AI 安全领域的人交谈时,我发现大量精力被投入到弄清开源模型是否该为此负责上,而我们对此的证据仍然极少。闭源模型在近期的黑客攻击中扮演了非常重要的角色,至少比开源模型更多。网络安全确实是一个社会性问题,仅靠 AI 公司无法解决。需要在这一更高的抽象层面上投入精力。这是我们需要用 AI 来管理的众多风险和转型中的第一个,而其中任何一个都无法仅靠以旧金山为中心的科技行业来解决。

感谢 Seb Krier 对本文的反馈。


如果你有兴趣与你的团队分享 Interconnects,我提供团队订阅的分级折扣。如有兴趣,请联系我!

来源:Interconnects · interconnects.ai