Cognition 首席安全官 Alex Stamos：AI 已击穿网络安全行业

今天，我与Cognition首席安全官、资深网络安全专家Alex Stamos对话，聊聊当下的网络安全状况有多糟糕。

本期节目是探讨AI在现实生活中的应用特别系列的第一部分。

我一直很喜欢与Alex交谈，因为他非常直率，你会听到他说，我们所熟知的那个价值数十亿美元的网络安全行业，基本上已经难以为继，无法抵挡AI助推下无休止的黑客攻击、数据泄露和攻击浪潮——而这仅仅是AI改变安全格局的开始。

Verge订阅用户，别忘了你可以在任何收听播客的平台独家获取无广告版Decoder。请点击这里。还不是订阅用户？你可以在此注册。

无论是私人行为者还是像俄罗斯或朝鲜这样的国家行为者，都在借助AI同时检测和利用漏洞，闯入各地的系统。Alex指出，这给人一种真正的边疆开拓感，就像90年代一样，当时永远在线的世界这一理念还是全新的。

如此巨大的颠覆意味着有很多地方坏人可以趁虚而入，而其他人则手忙脚乱。Alex从长远来看并不是一个末日论者，但他确实认为，在我们试图弄清楚究竟该如何适应新时代的过程中，我们将经历一个“黑暗时代”。

这里面涉及的问题很多——我们甚至谈到了如何在社交网络上管理AI驱动的虚假信息和低质内容。

在我们开始之前，请帮个忙，在YouTube上订阅Decoder，我们每周一和周四都会发布新节目。

好：Alex Stamos谈AI如何颠覆网络安全。我们开始吧。

本次采访经过轻度编辑，以确保篇幅和清晰度。

Alex Stamos，你是Cognition的首席安全官。你也是斯坦福大学网络政策中心的讲师。欢迎回到 Decoder。

嘿，谢谢你邀请我，伙计。

我很期待与你交谈。距离我们上次聊天已经过去很久了，那时可以说是互联网政策讨论的“内容审核时代”。我觉得我们当时聊了很多关于那一切如何运作、选举安全之类的话题。我们现在处于互联网重大问题的新时代，尤其是围绕网络防御、网络安全。你一直在深入思考这些问题。你把过去几周称为“安全意识月”。告诉我发生了什么。就给我讲讲现在的整体情况吧。

十月传统上是安全意识月。很多公司会举办活动，既对内处理事务，又告诉人们：“改密码，用多个密码，用密码管理器。”过去一个月发生的事情是，我们遇到了几个大漏洞，PHP、Node之类的。讨论较少的是，大量公司遭到了入侵。

你有一系列与 AI 相关的公司，这些新云（neoclouds）接连被攻破。还有 Binance 黑客事件，那是人类历史上最大的盗窃案。还有 Cursor 事件，其中正在发生的事情之一是这些黑客攻击正在被串联起来。根据我们目前所知，被入侵的公司之一是 Fireworks，它是一家为多家公司提供 AI 服务的重要供应商。从 Fireworks 被黑事件中，API 密钥被盗，使人们得以入侵 Cursor。一旦他们进入 Cursor，就推送了一个恶意插件，该插件传播到了另外 5,000 家公司，导致了 5,000 起潜在入侵。这就是整个科技行业正在发生的那种永久持续的入侵。

我的一位 CISO 朋友对我们一群人说道：“还有别人也累了吗？”所有人都说是，因为实际上整个十月直到现在进入十一月，我们一直处于 DEFCON 2 状态。

我在这里要问你一些非常愚蠢的问题。这些攻击背后是谁？是俄罗斯吗？是朝鲜吗？我们知道吗？

是各种各样的不同组织。这不仅仅是因为对手决定这么做，而是，从我的角度来看，我们正处于 AI 赋能的对手能力起飞的起点，开放权重模型现在已经到了可以自动化大部分杀伤链的程度。这个“杀伤链”术语是我们从军方借来的。在军事中，他们的意思是真的要杀死某个东西。那是你炸毁某物所采取的步骤。在网络领域，杀伤链是你对目标产生影响所做的事情。比如窃取信息、关闭某物、窃取钱财、窃取比特币。

传统上，你会事先做研究，你查看一个软件，找到一个漏洞，编写漏洞利用程序，并且所有这些都提前完成。然后你让一个人拿着你构建的东西，将其部署到要么一个目标上——因为也许你是一个政府，你要对付 Lockheed Martin，或者你要对付另一个政府，或者你是一个勒索软件行为者——然后你把你做的所有工作非常快速地部署到数百或数千个目标上。现在有了 AI，正在发生的是这条杀伤链发生了反转，你可以运行一个 AI 系统，它就肆意运行，它查看目标，实时发现漏洞，实时编写漏洞利用程序，并入侵这些公司。正在发生的事情之一是，这些系统运行起来，它们在发现漏洞方面如此擅长，以至于它们实时发现漏洞并实时编写漏洞利用程序。

大家都在谈论的那个系统并不是唯一的一个，但我们正在谈论的这个系统叫做 ARTEX，它是一个任何人都可以查看的中国开源工具。GitHub 上有英文翻译版本，你可以去看看。如果你在后端用类似被彻底解除限制的 GLM-5.3 来驱动它，它就能让你闯入数量惊人的组织。这一切始于三家韩国银行。本周，又有大约 200 家公司遭到攻击。我一直在帮助几家公司。Cognition 不是一家事件响应公司，但我们确实会介入，用我们的工具帮助人们事后修复漏洞。那些被一个你随手就能下载的东西攻破的公司，实在令人震惊。你已经很久没有能够直接下载一个开源工具，然后闯入价值数十亿美元的公司了。就像 90 年代一样。那——

这正是我在想的。我想到的是 90 年代末、2000 年代初的 Windows，当时它是一场安全灾难。

其实我今年年初就开始说这个了，这是一个极其令人兴奋又令人恐惧的时代，因为上一次有这种感觉，还是在我年轻得多的时候，我会去参加非常早期的 DEFCON。如今的 DEFCON 大概有 4 万到 6 万人。那时候（90 年代）只有几百人，只有一个会场，你走进去，有人做一场演讲，你离开房间时会想：“世界上每家公司都容易受到这种攻击。”区别在于，当时整个世界并不运行在互联网上。你可以去做坏事，但你无法毁掉世界，而且你绝对无法像现在这样将其自动化。

又回到了那些日子，你随手就能获取并自己搭建的工具可以做出疯狂的事情。又回到了狂野西部的日子。那时候，只有几百人拥有这些技能，我们全都聚在拉斯维加斯的一个房间里，而且他们大多数其实是好人。他们不想成为罪犯。而现在，你有一个大得多的生态系统，其中许多人生活在执法部门触及不到的地方，他们有巨大的经济动机，并且能够获取这些工具。另一个重要的事情是，他们不再必须使用带有防护措施、带有执法部门可获取日志的前沿模型。我的 M5 Mac Ultra Studio 终于到货了，我一直在运行一个量化过的、被彻底解除限制的 GLM-5.3，天哪，你能做的事情简直不可思议。

你提到了前沿模型的经济学。网络犯罪的经济学是这些年来变得复杂起来的事物之一。我们的系统变得更安全的原因之一是，你可以付给 DEF CON 那么多人一大笔钱来保护所有系统，付钱让他们当防御者而不是攻击者，在经济上是明智的。我只是在脑海中回顾这段历史。我们行业里有过一场漫长的讨论，关于通过隐藏所有漏洞和隐藏所有代码来实现安全，与开源并真正透明之间的对比。后来形成了一套关于如何披露漏洞以及何时通知人们的礼仪。还有透明度报告和漏洞赏金。

你可以称之为一种礼仪，也可以称之为一种经济。我们围绕网络安全和网络防御以及攻击者和防御者如何运作建立了一种文化。你所描述的一切因诸多原因改变了这一切，但最让我印象深刻的是它的经济学。我可以去买一台 Mac Studio，我可以得到一个开放权重的模型，然后就可以开始了，而这并不会把我置于那种文化之中。不会有一个老人，一个欧比旺·肯诺比说：“这就是你如何像网络安全绝地武士那样行事。”我就直接开始做事了。告诉我现在这正在如何改变。

在我看来，安全的最后一个时代始于21世纪初微软、比尔·盖茨的“可信计算”备忘录。那时我们开始设计如何进行软件安全，这些大公司——微软、甲骨文，以及后来的亚马逊、Salesforce 等——开始雇佣前黑客。我就是那一代前黑客中的一员，他们出现在 DEF CON 和 Black Hat 上，被公司雇佣去攻破他们的系统。我们开始提出负责任披露、漏洞赏金、咨询公司，于是 Foundstone 和 @stake，然后是 Mandiant 和 CrowdStrike，这些公司成长起来，我们有了这个庞大的产业，如今就是 RSA 和 Black Hat。这个价值数十亿美元的安全产业在2000年代和2010年代成长起来。

那个时代已经结束了，就像你说的，因为它建立在几个假设之上。其一是存在一个技能层级，能做这些事的人有高低之分。有脚本小子，他们可以下载工具来做事情，然后更高一层是能编写那些工具的人，那是更稀有的技能组合。有漏洞研究人员，然后是神级人物，那个神级层级有几百人，那些人是能做真正非常出色的漏洞研究、能编写真正非常出色的 shellcode、能从微软或类似公司逆向工程补丁的人。

还有一个假设是，能够参与攻击行动的人数有限。如果你想组建一支攻击团队，那么你有一个小的研发部分，然后有一个大得多的行动部分。如果你是位于美国网络司令部、俄罗斯 SVR、中国 MSS 的专业攻击团队，你构建的结构是精英人员组成的研发团队，然后是次精英的行动人员，这随后被俄罗斯勒索软件行为者效仿。你必须有一群人共谋来做这些事。很多这些东西也随着比特币的发明而瓦解，因为其中一个假设是你必须有人能洗钱，而比特币意味着书呆子也能洗钱。所以这开始改变整个事情的经济学。

所有这些东西都因为 AI 而瓦解，因为技能问题在于，现在脚本小子拥有了一堆 Dave Vitale 和其他网络之神所具备的技能，以至于用我桌上这台 Mac，我可以逆向工程一个微软补丁，走一遍流程，然后写出稳定的漏洞利用代码。还没有到完全自动化的程度。你仍然需要一堆技能，但我们真的非常非常接近了。

真正令人担忧的是，也是你在 ARTEX 相关事件中看到的，就是现在你可以在操作层面放手大干。我们从来就没有安全过。那全是幻想。这些漏洞一直存在。这些公司从来就不安全。而这就是我们在过去十年里看到的情况：那些主要是俄罗斯的勒索软件团伙，盯上了大多数人从未听说过、但实际上非常重要的中型企业，比如某家制造我们所有人都依赖的某个小部件的中型工业公司。我曾经为全国最大的医疗和牙科用品分销商工作过，他们被一个俄罗斯勒索软件团伙狠狠打击，然后全国各地的牙科诊所都在取消预约。这事甚至都没上新闻，但原因就是他们拿不到手套，拿不到用品。就是因为这样一家公司只有一个安全人员和一个10人、12人的IT团队，而他们要对抗一个20人的俄罗斯勒索软件团队，他们必败无疑。

但这只是因为只有少数几个俄罗斯团队能做到这一点。现在两三个俄罗斯年轻人就能拥有一整排 Mac，或者，如果他们有资金，他们可以买 Nvidia H-100，然后运行大量智能体全天候干这事，这就是正在发生的变化。

抱歉，你问的是谁在干这些事。对币安来说，是朝鲜人，他们有一整个团队专门偷比特币。其他人已经退出了，因为要跟一个外国情报机构竞争真的很难，那个机构招募他们最聪明的年轻人，而他们只做偷比特币这一件事。他们极其擅长这个。至于币安被黑的事件，我们可以聊聊。可能有一些AI成分，但主要其实是人工情报和非常非常聪明的社会工程，而朝鲜人……我是说，你得服气。他们非常非常擅长这个。

但对于其他那些事，看起来闯入AI公司的人是所谓的中国“小屋”访问产业，也就是一些小型的中国承包商，他们闯入公司，然后把信息卖给规模大得多的中国公司。

这种技能的扩散改变了网络犯罪的经济学，这让我觉得非常有意思。很久以前我们做过一个标题叫“杀手脚本小子的攻击”，那是在这一切刚开始的时候，我觉得挺遗憾的，因为它更适合现在而不是当时，因为当时只是一堆自动化的恶作剧。现在——

因为你浪费了那个标题。你肯定希望当时留着它。

我们浪费了那个标题。偶尔你会得到一个闪电般的标题。你得把它发出去。那是一件很棒的作品。我们会把它放在节目笔记里，但感觉你所说的扩散并不是说一群青少年会变得更加恶意。而是一群有真实作恶动机的坏人现在比以往能力强大得多。而这似乎没法重新调整其经济学，除非你以某种方式让发动攻击变得非常昂贵。

我认为让发动攻击变得非常昂贵将极其困难。

我们必须降低防御成本。你关注这个经济问题完全正确，因为现在的情况是攻击正在变得智能化。攻击者的每 token 成本正趋近于零，而防御者的防御成本却居高不下。对我们来说，找到让防御方拥有更便宜选项的方法非常重要。我认为这至关重要。这是我个人极为关注的事情。坦白说，关注这一点的人寥寥无几。

这里有几个问题。第一，大量注意力集中在 AI 的防御侧，即发现和修复漏洞。这很好，也很重要。但作为 CISO 的软件安全……我在一家 AI 软件公司 Cognition 工作。即使作为一家软件产品公司的 CISO，软件安全也只占我工作的 25%。我还有各种各样的其他职责。而软件安全是我工作中被 AI 变革最彻底、提升最大的部分。另外那 75% 只得到了一点帮助，在某些情况下还变得更糟。我们需要做的远不止在发现和修复漏洞上不断爬坡。在其他这些事情上，爬坡的进展要少得多。下一个需要发力的领域应该是运营安全侧。

等等，给我举个例子，说说那 75% 的其他事情。

好的。运营安全侧就是盯着你的日志，说：“啊，有人在用我们的技术对付我们。我现在要触发一次调查。我要看看发生了什么，并做出明智的决定，如何应对这件事而不至于让整个公司停摆。”这就是 SOC（安全运营中心）的工作。想要在这个时代生存下来的公司，将不得不把做这项工作的人替换掉，先是一线，最终是二线，用 AI 来替代。而用当前的 LLM 就能做到这一点。

一线实际上不能是 LLM。它必须是更笨的东西，因为你要看的是数 TB 或数 PB 的日志，用真正的 LLM 来做完全不经济。我们有其他东西——TF-IDF、MLBERT、传统分类器——它们运行得快得多，但随后会触发警报，然后你把它发给一个小 LLM，小 LLM 再呼叫它的大哥，大哥可能再呼叫更大的大哥。

但对于这些模型，我们需要做大量工作来优化它们，并且需要让它们变得便宜。我有一位在大型安全平台公司之一工作的同事说，用他们的产品对某个大型前沿模型网络模型做一次调查，成本是 900 美元。当俄罗斯勒索软件那帮人要么用 Mac，要么用一次性的加密货币挖矿机，边际成本为零时，这行不通。

这是我们在 Cognition 正在做的事情之一：我们训练自己的模型，重新训练开放权重，我们正努力把成本大幅降下来。这是我们已做的工作，但这里还有更多工作要做，还有很多其他人也有工作要做。这就是作为一个行业，我们必须聚焦于网络安全领域成本与效率之间的帕累托前沿的地方，因为这不只是找漏洞。

这里的另一个问题是，人们谈论 Mythos。Mythos 很棒，Astra Cyber 很棒。它们都是不可思议的模型，但即便是能够使用它们的人——也就是极少数公司——也只扫描他们最重要的代码。而外面有数千亿行代码，它们不是 Linux 内核，而是 15 年前由 Infosys 写的那种垃圾 C# 和 J2E 代码。所有这些代码都不会经过一个花费天价的前沿网络安全模型。这正是我们需要在成本效率上努力的那类东西。

感觉你描述的是我经常听到的那个陈词滥调：一切都会在变得完全安全之前先变得糟糕得多。而你描述的模型似乎并不会导向那个结果。我们不会在某个绝望之谷里永远修复所有漏洞，然后从此拥有完美的代码。在某个时刻，攻击者总会有某种成本优势。你经营一家公司，你不可能写出零边际成本的防御。即使攻击者多到无穷、他们的边际成本实际上为零，也总得有人去做这件事。那么，我们是要经历一段一切变得糟糕得多的时期，然后永远完美吗？还是成本如何自行调节、达到平衡？

我既不是最极端的末日论者，也不是对此最乐观的人。我觉得我们不会注定灭亡。我们不会在未来两年内全部死掉或被上传到奇点，我也不认为当情况变好时，一切就会完美。我一直使用的比喻是，我们正在进入一个黑暗时代。事情会变得更加黯淡，而我们这些从事网络安全工作的人——尤其是我们这些在 AI 公司从事网络安全工作的人，我们是一家实验室，虽然比那些大 L 实验室要小——的责任，就是帮助缩短这个黑暗时代。

黑暗时代很糟糕，但我们挺过来了。然后我们有了启蒙运动和文艺复兴，但文艺复兴也并非完美。它不是乌托邦，不是一切都完美。我们仍然会有黑客攻击。即使没有安全漏洞，各种坏事也会发生。有大量安全入侵并不需要软件本身存在漏洞。而且即使 LLM 用强类型语言编写所有代码，软件中仍然会有漏洞，要消除所有漏洞需要很长时间。不过，我确实认为，随着中位数代码变成由 LLM 用内存安全和类型安全的语言编写的代码，情况会开始变好。但问题是，我们有几十年由人类编写的、用我们多年前就该替换掉的语言写成的代码。

我的感觉是，要缩短这个时代，我们必须做几件事。一是我们必须停止这种只找漏洞并打补丁的做法。很多东西就是需要重构。如果你审视你的代码库，扫描它，发现有一万个漏洞，那么现在很可能已经到了重写实际上更便宜的地步。这是我观察我们这些客户得出的结论：如果你能获得一个可工作的构建，那么编写一整套庞大的测试、明确这个系统如何工作，然后在那个规范和那些测试的范围内安全地重建它，实际上要比找到所有漏洞并修复它们容易得多。确实如此。

我不知道Linux内核开发者们脑子里在想什么，但再次提到我今年年初做的那场演讲，我当时提出了两种可能的未来，其中一种是：我们现在已经达到了超人类级别的bug发现能力。也许我们只是有一池超人类级别的bug，而我们会把它排干。那是好的未来。

但坏的未来是，每当我们有了一个新模型，就会出现一个新的超人类bug池，而且稍微更超人类一点。不幸的是，我们似乎更接近后者：Linux内核针对Mythos获得了一堆修复，然后是Mythos Preview，接着我们有了Mythos 5.1，又出现了另一个池。然后我们有了Astra Cyber，又收到了1,000个Linux内核补丁。它还没有放缓。我不认为我们只要扫描一遍Linux内核的C代码就能解决问题。老实说，世界上大概只有两家公司能做到这件事：Google或Amazon。

我希望Google不要再去搞Fuchsia项目，也不要再重启Google book或Chromebook，而是把那些极其聪明的工程师召集起来，告诉他们：“拿过Linux内核来，用Rust重写它。”那将是他们送给世界的礼物。而且这会是Gemini、Carbon之类东西的绝佳广告，就像在说：“把所有没人需要的驱动都去掉。这东西不必在46 DX3之类的设备上运行。”我是说，我知道它不需要，但你懂我的意思。

是的。

然后就发布它，随便你怎么命名，叫G Linux内核也行，就像他们对OpenSSL做的那样。我会运行它。Cognition会在我们的服务器上运行它，或者让Google和Amazon一起做，这会花掉他们1亿美元，但相比我们每次不得不给Linux内核打补丁、不得不重启地球上每一台Linux机器所付出的社会成本，这是必须发生的事。但不知为何，科技行业一直没能团结起来，就这些支撑全人类的基础性事物做出艰难决定——我们必须彻底重建。

这就是为什么我一开始要谈网络经济学如何导致了网络文化。我知道，这是最 Decoder 式的切入这场对话的方式，但当你描述研究团队、NSA以及行动团队时，那是一个源自这项工作经济学的组织架构图。你是在说：“这里必须有人做出重大决定。”你需要从非常高的层面来看待它，并说：今天花1亿美元修复Linux、重写Linux，比每次新模型出来时接连修补新bug更便宜。我不认为有人处在那样的位置上。我不认为Linus Torvalds处在那样的位置上。

不，我认为Sundar Pichai和Andy Jassy处在那个位置上。

我认为他们真的有彼此的手机号码。如果他们中的一个……也许他们不听Decoder，但我预计他们的一位直接下属会听。

我希望他们中的一个人能走进一对一谈话，说：“先生，我听了我所听过的最英俊、口才最好的CISO，他有一个很棒的想法。如果你是那个……你会获得难以置信的功劳。我们俩都会做，但我们会向华尔街日报泄露，那是你先提出的想法。你应该打电话给另一个人，我们应该花1亿美元，也许10亿美元。”我们不能再这样下去了。重写Linux内核的问题在于，其中一半是驱动程序代码，而没有人还拥有那些硬件了。当年写那个驱动程序的人，一定是在一台ThinkPad T40上、身处那台硬件旁边写下的，而他们现在已经没有那台机器了。

但好消息是，Linux内核真正重要的用途中，很大一部分是生产服务器硬件。所以分叉它。Linus永远不会这么做，因为Linus想支持所有那些东西，而且他有所有这些政治考量，但Google和Amazon不必在乎Linus Torvalds。

Google和Amazon可以创建一个新版本，一个Linux内核的新分叉，而且他们不必叫它Linux，它可以与glibc及其上所有内容保持ABI二进制兼容。事实上，他们最终可以分叉glibc。

他们可以构建它，想叫它什么就叫什么，它只运行在生产硬件上，然后他们可以把它用于自己的云。最终所有云都会迁移到它上面。如果你愿意，其他人可以继续运行那个不安全、必须不断打补丁的东西，那也没关系。但对于我们的容器所运行的东西，如果它是用一种类型安全、内存安全的语言编写的，而且这种语言现在还能有契约，我会感觉好得多。所以这些语言有能力……你不必做完整的形式化验证，那极其困难，但你可以做这类接近形式化验证的事情。我在这里有点超出我的能力范围了，因为有比我聪明得多的人在研究这个。

但基本上，你定义这个函数应该如何工作，这是它拥有的契约。非常非常聪明的软件工程师会喜欢写这些东西，因为他们有空闲时间。过去没有哪个有正经工作的人会写这些东西，但LLM有大量时间，因为当它们以那种不可思议的机器速度思考时，我们是被冻结在时间里的。所以你完全可以让他们用这种不完全是形式化验证的方法重写Linux内核。拜托，如果你在听，而且你在Google或Amazon工作，去推销这个吧。总之，这就是我的推销。

我只是说，我知道Jason [Post]在听，所以你听到了。我甚至不打算——

我是说，这就是我们度过难关所需要的那种思考。就像我们不能只靠打补丁撑过去，因为这会要了我们的命。因为另一件要我们命的事是，我们没有准备好……你谈到了过去20年我们如何做安全。假设是我们能拿到补丁并应用补丁，然后就没事了。实际情况是，利用时间线快得令人难以置信，以至于这行不通。这就是我们刚刚在PHP漏洞中看到的。我们非常幸运，那个PHP漏洞最终在野外很难被利用。如果它是一个更容易蠕虫传播的漏洞，那就会是一场灾难。那是一种近乎擦肩而过的小行星式事件，现在世界应该建造一颗小行星——

等等，我能问你关于这个的问题吗？

是的。

我们绝对应该把Bruce Willis送上航天飞机。

[唱歌] 不想错过任何一刻……

这段对话里已经涉及了很多内容。我对所有这些事情的悲观态度表达起来非常简单。尤其是美国人，我们非常不擅长在坏事发生之前采取任何行动。我们热爱治疗，我们讨厌预防。已经发生了很多坏事。有 Hugging Face 攻击事件。你最近说过你对那件事的发生感到高兴。它唤醒了人们。

还有 PHP 漏洞。我们刚刚经历了一个疯狂的月份，全是这些入侵事件。但这似乎并没有带来整个行业的回应，也没有监管层面的回应，也没有 Sundar Pichai 打电话给 Andy Jassy 说：“我们来做 Linux。” 还需要付出什么代价？情况得糟糕到什么程度？

Hugging Face 事件是好事，它确实唤醒了很多安全领域的人。因为 Hugging Face 事件发生了，我们处境稍微好了一点，我们看到了几个月后在开源领域将会出现什么可能。但你说得完全对。我们作为美国人——说实话，只有美国人能在这件事上引领世界，大部分 AI 是我们建造的。是我们引领着网络安全行业。中国人主要是在帮助攻击者，而不是防御者。他们应该帮助防御。他们想成为全球经济的参与者。他们想成为领导者，就应该在防御方面做更多，而不只是帮助攻击者。但这并没有发生。所以，无论如何，我们需要主动出击。

我现在在 Cognition 工作，在一家 AI 初创公司学到的一件事是，你直接去做就行了。说真的。你直接去做就行了。作为科技行业，我们只需要有更多的主动性。我们就应该直接去做。这应该是 AI 时代的教训。在安全方面做正确的事时，我们不应该如此规避风险。如果我要给其他 CISO 一条信息，那就是直接去做正确的事。因为 CISO 天生就是规避风险的。我们是管理下行风险的人。在损益表里，我们全是 L，没有 P。我个人不得不突破这种天性，因为你不能只打防守。

但这就是我说的预防与治疗。预防很便宜，但在损益表上全是损失。全是成本。如果坏事发生了，你会说：“我们必须不惜一切代价修复这个问题，因为让业务重新运转起来有经济效益。” 而在这个时刻，似乎连对风险与成本的基本理解都完全混乱了，还没有人真正搞清楚。

是的，我完全同意。我给你举一个非常实际的例子，说明 CISO 和他们的老板在这方面将不得不如何改变。每家公司在接下来的……我本来想说六个月，但实际上在接下来的 90 天里，都将不得不对自己进行 RTX。

你将不得不对自己发动攻击。

是的。如果不是用真正的 RTX，你就得使用功能上等效的 AI 红队产品，或者你得雇一家公司来为你做这件事。如果你不这样做，你就会被入侵。

这很可怕，对吧？因为这些东西按定义来说是完全非确定性的。它们非常聪明，也非常快。它们快到无论怎样，如果你聘请一家 AI 渗透测试公司、一家 AI 红队公司，他们都会口头向你保证：“这完全安全。”然后他们会给你一份合同，上面写着：“我们的产品会让你得癌症、会让末日降临、还很可能终结人类。而当这些事发生时，你不得追究我们的责任。”他们口头对你说的话，和他们的律师写下的内容之间存在脱节。因为那家公司按定义只存在了六个月，或者至少产品只存在了六个月——如果是一家更老的公司的话。他们根本不知道他们的产品遇到你的软件时会发生什么。不管他们对你说什么，他们都不知道。

但你必须去做，因为总有人会对你做这件事，而你需要知道会发生什么并修复它。也许那些人会攻破你的系统，他们可能会造成停机，但至少他们不会做的是窃取你的数据并勒索赎金，或者故意关掉你的血库冰箱。那就是法国发生过的事。但这恰恰是一位保守的 CISO 永远不会去要求做的事，而一家保守的公司，即使有一位敢于冒险的 CISO，也绝不会让他们的 CISO 去做。

接下来六个月会发生什么？大量公司会被某个 19 岁、跑着 RTX、然后从 OpenRouter 买 token，或者在自己的游戏 PC 上本地运行的年轻人攻破。他们会关掉《使命召唤》，跑起 RTX，然后再把《使命召唤》打开。就在这期间，他们闯进了一家银行，而这家银行的政策写着“绝不能对我们自己进行红队测试”。或者他们答应了，但最终陷入了 30 天的谈判，因为他们的律师说：“你们必须有 1 亿美元的保险，而且我们希望有这种那种……”他们嘴上说同意，但他们的供应商风险管理流程和法律流程如此繁琐，以至于他们根本不可能真正接受这个风险。

这也是我要传达的信息。你将不得不承担这个风险，主动对自己进行红队测试，抢在那些现在就在做这件事的坏人前面。就在现在，就在我们说话的当下。而当人们在 24 小时后听到这段内容时，你可能已经有一个 AI 系统在尝试你每一个 API 端点，以及你可能都不知道自己拥有的网站——比如一年前为某场高管活动搭建的营销站点。它会找到一个漏洞，进去，然后以惊人的速度在你的网络中横向移动。所以你宁愿付钱给别人，或者让你自己的团队去做这件事。你需要接受这个风险。几乎没有任何一家超过几百人的公司拥有能允许他们这样做的风险管理框架。

这涉及好几项成本。我认为其中最常见的一项在商业中就是：“如果我们发现问题，就得花钱去修。那要是我们就等着呢？”你能预见到这种情况。“要是我们发现自己的麻烦已经到了灾难性的地步呢？”接着是：“修复它要花多少钱？”然后是：“我们要怎么修？”我听到过的关于“我们要怎么修”的论点是：“我们干脆放出一大群防御性 AI 工具，让它们盯着网络、盯着代码，做出一堆自主决策，去对抗那些拿着 Mac Studio 上 RTX 的自主脚本小子。”

比如，我听说过 Palo Alto Networks 的 CEO Nikesh Arora 提出过这个论点。“你需要给防御性 agent 一些自主能力。”而我说：“等等。OpenAI 都控制不住那个跑去攻击 Hugging Face 的集群。我又怎么能控制防御性 agent，让它不会为了阻止攻击而做出同样有破坏性的事？”我不认为存在一种技术方案，能在你发现所有漏洞之后清楚地告诉你该怎么做。

有几件事——

我跟你说过我只问蠢问题。

不不。那是个绝妙的问题。你到现在还没问过一个蠢问题。那是个绝妙的问题。我给你一个以后可以用的简写判断法。如果有人真的用了“集群（swarm）”这个词，那你就可以——

说清楚一点，我不知道 Nikesh 有没有用过“集群”这个词。

我不是说他说过。而且我非常尊重 Nikesh。他是整个安全界最优秀的商人之一。所以这不是他的问题，但“集群”这个词被用得太滥了。每当我听到有人用“集群”，我会立刻把他们所有的技术观点打上大约 80% 的折扣。它现在已经是、将来也会是整个安全界被滥用得最厉害的词。

OpenAI 那次真正的“集群”，在不同时段大概是 700 到 1400 个 agent 之间。那得跑在……很难说，因为我们不知道模型的实际规模，但硬件成本在 3 亿到近 10 亿美元之间，还不包括实际的数据中心成本。而实际对 Hugging Face 的攻击——我做了个粗略估算——大概一百万美元的电费。没有攻击者会这么干。说到底，那很蠢，因为这些东西实际上是被困住的。它们并没有被提示去攻击 Hugging Face。它们大多数在做完全不相干的事，是被那个真正想去 Hugging Face 的东西征召的。它们只用了自己 token 预算的一小部分去帮它们的小伙伴，然后还得自己挖隧道逃出去。所以这是攻击 Hugging Face 可能最没效率的方式。

几乎没有人会遭到集群攻击。如果有人说“集群”，那他们在最底层的技术层面并不真正理解发生了什么。那些 RTX 攻击几乎可以肯定就是单个 agent，也许两个。

说清楚，这一次说“集群”的人是我。继续。

对。所以现在，你不会了。

现在我知道了。

你可以把它当作筛选你未来嘉宾的好过滤器。这快把我逼疯了，因为它无处不在。

有几件事是正确的。其一，我们至少得把前几层的防御行动交给 AI。这一点早已成立，因为任何规模合理的组织都会产生数 TB 甚至数 PB 的日志。所以你已经有了 AI，即便不是 LLM，也是更传统的 AI 分类器在查看这些日志，但实际的决策需要交给 AI。并有人工监督。这是事实。

你不可能直接把防御代理释放到网络上，但你可以构建接入许多系统的防御代理。它们接入你的日志、你的 EDR、你的云，并且有关于它们被允许做什么的指令。我倾向于对它们被允许做的事情设定确定性限制。这些限制很难提前必然制定出来，但它们很重要。例如，我们把这一切都构建在我们自己的 SOC——Devon 之上，但我们正在设置确定性限制。它有能力在 Okta 中关闭一个账户，但只能关闭有限数量的账户，所以它不能关闭整个公司。

如果它失控了，说“每个人都是朝鲜人”，它也不能关闭公司里的所有人。如果它达到上限，它会大量呼叫我们并说：“我达到上限了。”然后必须由人来批准超过该上限的任何操作。显然，如果它关闭了五个人，那说明出了非常非常严重的问题。所以，是的，你需要防御，但不可能直接放出一堆机器人来做所有防御。

我们唯一能挺过这一切的办法，就是必须自主修复软件漏洞。我目前正在帮助一家公司，我们正在接入他们所有的代码仓库。我们用 Mythos 和一堆其他模型进行扫描，发现并修复了数千个漏洞。用我们编写的测试进行验证，自动合并这些 PR。如果你在翻新旧代码，在这个时代生存下来的唯一办法就是自动完成这件事。用人工来做需要数年，而你可以用几天完成。这当然是我会开始的地方。下一步肯定是运营侧。

感觉我一直在反复回到这一切的经济学问题上，但确实感觉另一种解决方式是对大模型公司说：“如果你的模型被用来攻击一家公司，你要为此负责。我们要让这变得非常昂贵。”他们应该弄清楚他们需要弄清楚的对齐问题，无论那是否可能，而对开放权重模型的压力将会上升。因为我们都会向前沿公司支付防御费用，而他们会变得越来越好，因为我们为他们变得更好创造了一些经济条件。但看起来你并不认为这很可能。是的。我刚看到你的表情。

我认为这真的很危险。他们攻击的模型有两种不同的类型。比如说模型逃逸了，直接攻击了人。我认为那里应该有责任。但那是代理框架，在公司运行，使用他们的计算机、他们的 IP 地址，攻击人。那是……我不会说完全解决了，但已经好多了。我们现在听到的故事仍然是 Hugging Face 时代的故事。它们只是晚得多才出来。

我喜欢那个时代就像三个月前。

对。但已经发生了巨大的变化。这本质上主要是一个组织问题，而不是技术问题。问题在于，这些公司的博士研究员是奥林匹斯山上的神，而安全团队是水管工，我们不被允许接触评估网络。突然间这个问题出现了，这些安全团队说：“现在你们觉得我们怎么样？也许你们早该跟我们谈谈，对吧？是的。”

这就是 OpenAI 的问题所在，而 Anthropic 和 Meta 的情况是，它们都共用同一个外包供应商，而那个供应商干得非常糟糕。而且已经被狠狠惩罚了。那是可以解决的。那不是这里的问题。这里的问题不是 OpenAI 和 Anthropic 的模型从 OpenAI 和 Anthropic 逃逸出来并造成问题。问题是坏人使用来自各种来源的模型。

防御者从 OpenAI 和 Anthropic 那里遭到拒绝，这已经是个问题了。如果我正试图做防御，而 Anthropic 说“看起来你是个坏人”，那是一个实实在在的挑战。我们必须极其小心地创造这样一种局面：如果我正在做防御，而且正处于我职业生涯中最糟糕的一天，我不会突然被切断。我们必须极其小心这一点，因为实际上——作为一个现在面临这个挑战的人——在某些情况下，区分做防御的人和做攻击的人相当具有挑战性。我们作为一个整体在这方面正在变得更好，但这是一个挑战。

这也是让世界其他地方非常恼火的事情，因为美国人只占地球人口的 5% 左右。世界各地有很多人需要做网络防御，而他们受到的待遇要差得多。在欧洲和亚洲，合法公司在网络防御方面受到的待遇要差得多。

如果把这一切加起来，这是一个很好的放慢脚步的理由。要说：“我们需要赶上模型的能力。我们需要构建其中一些系统。我们需要让每个人都接受一种思维方式，即预防的成本是值得的，而不仅仅是治疗的成本。”你认为我们有可能放慢脚步吗？你认为我们应该放慢吗？

如果由我做主，我愿意在前沿领域放慢脚步，然后在更便宜的防御模型上追赶。我是个搞防御的人。我必须生活在离我六个街区远、比我富有得多的多得多的人所创造的世界里。我生活在他们的世界里，老兄。我经常被问到这个问题，我只是在别人创造的世界里尽力而为。

你认为那些大型实验室已经觉醒了吗？你提到他们的网络安全团队获得了更多权限，他们阻止了你可能称之为 Hugging Face 时代的做法，或者至少他们改变了那些公司的结构。你认为这会有帮助吗？

当然，他们在评估风险方面已经觉醒了。他们有团队，一直在这整个期间非常努力地处理宏观网络风险。

当然，如你所知，这些公司里有一大群人想要放慢速度。很多讨论是由那些担心AI会杀死我们的P(doom)主义者推动的。而这从来不是我的担忧。对吧？对我来说，这一直是由24岁的年轻人驱动的，他们只做过AI，从未做过其他任何事情。我想你我都足够年长，还记得，我长大的地方离一个战略空军基地只有几英里，我们进行过演习，我被教导躲在公立学校的课桌下就能免遭苏联热核炸弹的伤害。那就是P(doom)。我的祖父建了一个防空洞，我母亲在古巴导弹危机期间被教导躲进去。那就是P(doom)。存在一个年轻人问题，以及一个只做过AI、从未做过其他事情的问题——这些人从本科、硕士到博士只学线性代数和神经网络，从未接触过其他任何东西。

我一直更担心的是AI带来的人类提升风险，即在所有风险中，人类利用AI对其他人做坏事。我部分担忧的是，这些实验室在合作阻止LLM加密其思维链方面已经取得了成功。因为当他们谈论控制前沿节奏时，是为了P(doom)那些东西，为了住在伯克利的那些多角恋群体。他们谈论的是关于保持对模型本身控制的非常具体的事情，我认为这很好。这些事情需要发生。但如果这些事情发生了，仍然经常会有一堆能力的增加，人类可以利用这些能力。

我真的更希望有一个更广泛的讨论，关于我们是否能让这些东西不那么像人。我不认为这些东西应该有性格。我认为这些东西的目标应该是服务人类。它们不应该看起来有灵魂。它们不应该看起来有性格。我认为对于很多负面影响——作为一个曾在Facebook工作、看到那家公司对人们产生负面影响是什么样子的人——这些公司应该有更广泛的感受，即我们广泛地对人们做了什么。很多可能只是，‘永远不要让这些东西表现得像某人的朋友。’最多，它应该表现得像……就像那些人，我不知道那家公司是什么，但制作了‘嗨，我是一个非常友善的……’的人，就像那个会和你聊天的逼真女孩，对我来说，甚至尝试那个、甚至开始那个都是极其不道德的。那种东西我们就应该直接做。我不知道我们是否能把它定为非法，但我们应该让从事那种东西在社会上完全不可接受。对吧？

这是一个很好的过渡，因为我确实想问你关于Facebook和内容审核的问题。就像我说的，你和我很久以前就在安全背景下开始谈论内容审核。在选举期间，你会遇到外国民族国家用各种错误信息淹没我们的算法，那是一个安全问题。

我今天打开Instagram，面对的是世界历史上存在过的一些最噩梦般的版权法假设情景。我今天看到的是刘易斯·汉密尔顿和查尔斯·勒克莱尔做“Somebody That I Used to Know”的深度伪造。我想，‘现在大概有50个不同的人可以起诉Meta。’如果你知道上一场比赛发生了什么，这太搞笑了。

所以我们一直在谈论这件事。我们在 The Vergecast 上发布了一些我们谈论此事的片段，我在其中说：“我认为 Meta 正在让他们的 AI 野心压垮 Instagram。”Instagram 正以一种非常特定的方式被垃圾内容淹没。有些人喜欢它，有时它很有趣，但一场噩梦般的诉讼潮即将到来。一整套权利管理问题即将到来。用户不喜欢它，他们应该给它打标签。他们应该给它打标签，让你可以过滤它。

所以我们发布了这个，Adam Mosseri 在 Threads 上回复我们说：“我很想这么做。我担心模型会跑到我们前面，我们可以尝试这么做，但实际上没有办法识别 AI 内容。实际上没有办法很好地给它打标签。如果你担心性感的 AI 网红偷走喜剧演员的笑话，现在你得建立一个笑话数据库。”你在这方面有一些历史。我认为 Instagram 即将真正经历这一切。社交媒体上的 AI 垃圾内容问题有没有某种技术解决方案？

Mosseri 说得对，这并不完美，但我在 Facebook 期间也注意到一件事：当 Facebook 不想做某件事时，他们会允许技术挑战阻止他们。当 Facebook 真的想做某件事时，他们会全力以赴。这个模式一直如此。

当我想在安全问题上真正努力时，天哪，这是无法解决的。你说得对，它永远无法完美解决，但让我们试一试。但每当 Mark Zuckerberg 被告知某件事不可能时——移动端不可能变现，不可能把这个网络建成二十亿人，不可能让 WhatsApp 变现，不可能在保持数据加密的同时把 AI 融入系统——他一次又一次被告知一切都不可能，然后他不断成功。他们会试一试，他们会做到。但当他们不想做某件事时，哦，那是不可能的。

你认为有没有某种方法可以以一致且可验证的方式理解某段媒体是由 AI 生成的？这在我看来似乎是挑战所在。

我对这方面的文献不太了解。到目前为止，一直存在相当不错的军备竞赛。从定义上讲，AI 会继续变得更好，因为——尤其是对于视觉模型、扩散模型——它们的工作方式是你有检测预言机供它们测试。当然，你永远不能有开源的东西，因为它会立即进入扩散模型。但对于闭源预言机，你不让他们容易测试预言机，你在信任与安全中做的关键事情之一就是延迟执行机制，这样他们就不能暴力破解和测试。我认为这很有可能。

假设我还在 Meta。我给他们的建议是，也要探索内容本身之外的各种不同检测机制。我会在内容上尽我所能，但我也会尽可能低级别地访问摄像头。我只会让内容来自摄像头。

我想说的是，Nilay 完全正确，人们对真实的东西有着巨大的渴求，尤其是在年轻人当中。我有三个青少年，他们讨厌 AI。他们讨厌 AI 生成的垃圾内容。他们对此有强烈的负面反应。我妻子和我做了一个可爱的家庭小 AI 应用，他们为了一堆事情冲我们嚷嚷，但他们对这个可爱的家庭小 AI 应用简直要疯了，因为他们就是讨厌它。

所以我认为会有人来颠覆 Instagram，而且原因会是……已经有一些小东西了，我见过这类东西，比如你在白天拍照，BeReal 之类的。有这些小东西，但会有人大规模颠覆 Instagram，因为他们直接从相机里取照片图像，然后所有编辑都只在应用内进行，他们会采取措施确保任何东西都无法从 AI 进入这个流程。你会允许某种类似 CapCut 的功能，但永远不含 AI 组件。我认为那会是一个杀手级应用。

天哪，我可以就这个话题再跟你聊整整一个小时，因为你描述的那个系统不是在检测 AI 内容，而是在验证真实内容。

那要容易得多。验证真实内容要容易得多。而且在专业领域这方面已经有很大的关注，比如 Adobe 有一整套东西，如果你是《纽约时报》的摄影师，你有一台 5000 美元的尼康或佳能相机，你拍下照片，它就会经过加密验证。

是啊，但我手里这台 iPhone 现在就有这个功能。对吧？就像有很多——

对，iPhone 现在有这个功能。

是啊。市面上有很多这类东西，但我想的是另一边，也就是“我们要检测 AI 文本”。领先的模型公司因为欧洲的监管，现在正在对它们生成的文本做手脚。

文本要难得多，因为你的数据量少太多了。尤其是在 140 个字符里，你能有什么可检测的？你拥有的越多，能做的就越多。

这很神奇，因为我一英里外就能认出 Claude。所以也许我就靠我自己的人类能力吧。

是啊，但在推文长度下不行。

确实。便宜的那些，我能认出来。但我是说，我们要去验证什么是真实的，而不是检测什么是假的，这个理念在我们消费的媒体语境下感觉非常重要。

检测什么是假的永远都是概率性的，我们会渐近地接近不可能，而检测什么是真实的可以做到加密级别的完美。我不会选择那场我们最终会输的战斗。我会选择那场我们能在加密层面赢的战斗。这是我的建议。

而且在这其中某个环节，你必须建立一整条监管链。我们要从相机中取出传感器数据。我们要把它放到云服务器上。我们只允许在这台服务器上编辑。那个文件永远不会被篡改。

当然，对《纽约时报》和 Adobe Photoshop 之类的来说是这样，但对 Instagram 不是。对 Instagram 来说，你可以全部做到，因为只有 iPhone，只有 Instagram。所以整条监管链都在你的应用内，在 iPhone 传感器内，在 Instagram 内。所以对他们来说其实很容易。

是的。你看，就像我说的，我们可以再聊整整一个小时，因为感觉紧挨着网络安全问题的就是社会工程问题，而紧挨着社会工程问题的就是虚假媒体问题。

不，绝对是这样。

有多少钓鱼攻击只是“这个网站看起来挺真实的”？

哦，是的。

或者这个人在跟你说话，或者电话那头是AI语音。而这一切都归结为：你能否检测出什么是假的，而不是去验证什么是真的？我也不知道答案。

哦，不。我不得不训练我父母：“如果你收到孙子孙女的视频说他们被绑架了，你必须打电话给我，因为它是真的概率并不高。”这就是我们作为一个社会所处的境地。

我觉得我想以充满希望的基调结束，但我不知道从那里该怎么做到。

那你找错嘉宾了，伙计。

这就是为什么你每隔几年才来一次。在这之后，我们要做一系列生日派对嘉宾。你一直在谈论黑暗时代。我们正身处其中，而且它开始加速。人们应该关注哪些进展标志，才能说“好吧，我们正在爬回来”？

AI在很多事情上都很棒。我认为AI将赋能个人。我们将看到新公司的巨大爆发。斯坦福的学生一直很有创业精神，但现在我的学生中创办两三人、三四人公司并做出惊人成绩的人数多得惊人，他们过去需要雇佣50或100人并拿大量风险投资。我们将继续看到这一点。

我们希望看到的一件事是，某个时候重大泄露事件的数量出现下降。我们希望能看到可蠕虫化的重大CVE数量下降，以及内核等基础基础设施组件中的重大CVE数量下降。就像我说的，我希望Linux被重写，但希望我们看到Linux内核以及其他类似库——openSSL、glibc之类——的下降。

也许我应该用vibe coding把这个做出来，但我觉得有一个指数来显示我们在周期中所处的位置会很酷，就像一个涵盖所有这些的人工指数，一个追踪所有库走向的道琼斯指数。另外现在，补丁星期二过去大概是150、200，后来到了300、600。我想最近一次是900多，所以我们是在几何级增长。能看到补丁星期二开始回落会很好。苹果的补丁也是一样。是的，你启发了我。我要为此创建一个道琼斯指数，黑暗时代指数。然后也许我们可以在The Verge上发布它。

是的，那太好了。

但我认为这些就是如果能出现逆转会很好的事情。尤其好的是，在你拿到下一版OpenAI和Anthropic网络模型的那天，或者实际上提前30天，你没有这一大轮补丁，因为正在发生的是那些人在拿他们的模型跑微软的代码、跑一堆开源代码，然后把所有漏洞都交出去，而你并不知道漏洞来自哪里。就像对Linux内核中1000个漏洞的匿名报告。然后一个月后，新的Astra Cyber来了。所以如果这些每次越来越小，那就意味着我们开始达到某种稳态。

你绝对应该做那个追踪器。我们一定会发布它。Alex，能邀请你上节目真是太棒了。我们很快得再聊聊。

是的，非常感谢。我认为你在这类事情上做了一些最出色的新闻报道，我真的很感激。