AI 网络蜂群战预测：攻击成本骤降，防御窗口正在关闭

本页内容

一种新武器改变了力量平衡

Anas Baba / AFP · 2021年5月14日 [1]加沙地带北部。右侧是火箭弹；左侧是拦截弹。前景：加沙。

看看那片天空中两种运动轨迹。右侧，哈马斯的火箭弹呈扇形飞向以色列南部。左侧，铁穹拦截弹弯曲上升迎击。法新社摄影师 Anas Baba 于 2021 年 5 月在加沙北部上空拍下了这张照片。¹

无人机将这种战争经济学的变化进一步推进。我们以前见过这种模式：一种新武器从根本上改变了经济学和力量平衡。想想火药，或者更近的例子——与航空母舰这类庞大、缓慢的军事基础设施相比，可以廉价高效地大规模生产的无人机。反复的无人机波次对分布式基础设施施加持续压力，即便廉价的分层防御也在改进。²

我们已经在网络安全领域看到类似的模式：廉价智能体进行探测、适应、再次尝试，并同时作用于许多目标。即使你已经充分相信 AGI，我认为人们也很容易低估当今安全有多少依赖于专家攻击投入保持昂贵。

前沿实验室已经在动员防御。但我不相信这足够。我的核心观点是，AI 让持续的专家攻击投入变得廉价的速度，快于可靠保护抵达它所攻击的广大世界的速度。

攻击者可以选择在哪里投入这种努力。防御者必须让他们已经在运行的系统继续工作。这就是我希望人们牢记的不对称性——也是为什么我预计这一转变在大部分暴露于风险的世界中将有利于进攻方。

相同的构图。不同的战场。

好人也在动员

显而易见的回应是，只有拥有 AI 的好人才能阻止拥有 AI 的坏人。而实验室正在为这一回应投入大量资源。Axios 报道称，前沿实验室高管正在为 AI 灾难的政治后果做准备；OpenAI 表示其演练并不假设灾难不可避免。³

OpenAI 的国防工厂明确提出了这一论点的最强版本：防御者的窗口期。防御者可以让智能体直接访问自己的代码，并在同等能力更广泛扩散之前使用前沿模型。把这一先发优势转化为持续的发现、验证和修复，防御者就能在攻击者利用弱点之前将其关闭。⁷

概念图 / 改编自 OpenAI

防御者的窗口期

横向滚动以查看完整图表。

OpenAI · 国防工厂 [7] ↗

AISI 给出了同等网络能力扩散速度的具体数字。它测试的领先开放模型与四到七个月前发布的闭源模型相当，而 2025 年大部分时间里这一差距为六到十个月。这是实实在在的先发优势。问题在于，暴露于风险的世界中有多少能及时将其转化为保护。⁸

AISI · 网络评估

开放模型正在缩小差距。

AISI · 开放权重网络能力 [8] ↗

Mozilla 的 Firefox 150 版本包含针对 Claude Mythos Preview 发现的 271 个漏洞的修复。这才是真正重要的防御进展：向上游修复并交付给用户。⁹

“防御方终于有机会决定性地获胜。”

Bobby Holley ↗

这正是无人机类比存在重要局限的地方。软件防御者不需要为每一个传入请求配备新的拦截器。一个部署的补丁或强制执行的策略就能击败整个攻击家族。同一个失败漏洞利用的一百万份副本不会变成一百万个独立的突破机会。

实验室们明白部署问题。OpenAI 明确警告资源不足的关键基础设施，其 Defense Factory 账户描述了已合并补丁与在其自身机群中部署的修复之间的差距。Anthropic 表示，加固可能需要数年，而能力在数月内就会大幅提升。¹⁰ ⁷ ⁵

防御者的窗口是真实存在的。我预计它会在大部分暴露在外的世界得到保护之前关闭。这种先发优势只有在防御者能够将模型接入其系统，并在攻击能力到达这些系统之前将发现转化为保护时才有意义。传统企业和不受支持的物联网设备无法默认继承这种运营模式。我预计最好的防御者会变得强得多，而现实世界的网络损害也会严重得多。

专家级攻击投入正变得充裕

专家注意力一直是限制攻击者能追求多少目标以及能持续适应多久的约束。AI 改变了谁能负担得起这项工作以及他们能维持多少。

Mandiant 创始人 Kevin Mandia 将人类主导的间谍活动描述为一发狙击子弹：稀缺的专家注意力集中在选定的目标上。AI 让操作者能够将这种注意力分散到更多目标上并并行探索它们。如今的蜂群可能更嘈杂、协调性更差，但经济账已经改变。¹²

“在很大程度上，现代进攻性国家会限制其目标选择……我认为有了 AI，那发狙击子弹变得更像无人机蜂群”

Kevin Mandia ↗

Epoch 估计，自 2023 年以来，在五个 AI 基准上达到给定性能水平的成本大约每年下降十三倍。这对防御者也有帮助。我担心的是，当越来越有能力的工作变得足够便宜，可以持续针对那些以前不值得费力的目标运行时，会发生什么。¹³

你可以在 AI 辅助的游戏模组、逆向工程和软件复刻浪潮中看到同样的转变：Minecraft 中的 Halo 内容、Elden Ring 中的 Counter-Strike 机制、Terraria 的 Boss 变成训练模拟器。这些是智能体理解和改变陌生软件的有趣且基本无害的应用。当目标不再是游戏时，同样的技术可以为恶意行为者服务。¹⁴ ¹⁵ ¹⁶

Anthropic 报告称，单个操作者针对 42 个实体，并获得了至少 14 个实体的内部访问权限。在另一起 AI 辅助行动中，一条常规流水线反编译了 180 万个 Android 应用包，并搜索其中嵌入的机密信息。这起针对 42 个目标的行动让这种转变尤为具体：一个操作者持续对多个组织进行侦察、定制工具并实施利用。¹⁷

在另一起行动中，Anthropic 观察到 AI 辅助的工作流在安全产品检测到恶意软件后对其进行修改和重新构建。这是适应，而不仅仅是更多的扫描。¹⁷

对前沿访问的限制或许能为防御者争取时间。但它们并不能建立对攻击能力的持久垄断。Anthropic 记录了开放权重模型 GLM-5.3 中的高级网络能力。NIST 的独立评估仍将其置于当前美国前沿水平之下，同时称其为所评估过的最强开放权重模型。扩散在达到同等水平之前就可能产生重要影响。¹⁸ ¹⁹

当目标是银行、手机、医院、公用事业或投票系统时，利害关系就变了。更多目标变得值得持续关注。当智能体能够从失败中学习并寻找另一个可触及的弱点时，持久性就变得重要。

游戏模组、逆向工程和软件复刻的浪潮

这些游戏案例使用了不同的方法：用现有工具移植 Halo 资源；一个原生 Rust 模组将 Counter-Strike 的机制放入 Elden Ring；将 Terraria 的 Boss 逻辑反编译、在模拟器中复现，并用于训练游戏内智能体。创作者报告称，Halo 移植大约用了八小时，而 Elden Ring 模组则用了约三天的智能体会话。¹⁴ ¹⁵ ¹⁶

能力不等于覆盖

防御者窗口内的条件是，有效保护必须在攻击性访问扩散之前到位。OpenAI 正试图压缩整个循环，包括清点、归属、部署和验证。我担心的是，谁能真正在他们实际运行的系统中安装并维持这一循环。⁷

一个 AI 研究智能体发现了 BeyondTrust 远程访问软件中的一个漏洞。在公开披露后四天内，Google 的威胁情报团队就观察到一个威胁集群在利用它。七天内，出现了六个。防御性发现已成为多个攻击者的机会，而每个受影响的组织仍必须保护自己的系统。²⁰

Anthropic 的回顾性补丁重放研究显示了这一时钟发生了多大变化。Mythos 在不到一小时内就产出了其最快的可用 SpiderMonkey 漏洞利用；而相应的公开源代码修复用了 18 天才进入 Firefox 148 版本。而 Firefox 还是较好的情况：有支持、可自动更新的软件。²¹

Anthropic · 回顾性补丁重放

数小时即可利用。数天才能发布。

Anthropic · 利用补丁 [21] ↗

即便是先进的防御者也会遇到这一差距。Cloudflare 的示例工作流显示，可用的修复大约需要 14 小时，而紧急生产补丁则需要五天。OpenAI 发现已合并的补丁其修复并未到达已部署的系统，随后扩大了验证范围以弥合这一差距。这些组织拥有模型、工程师，并掌控着自己的基础设施。现在再想想那些不具备这些优势的公司。²² ⁷

这就是为什么我不认为更多的发现、更多的修复或更多的工具采用本身就能让人安心。防护必须跟上暴露的系统及其面临的压力。

最强的反驳论点是自动遏制。Mandia 将其比作战场包扎：先止血，稍后再去医院做完整修复。现有的终端和防火墙平台可以在每个易受攻击的应用被修补之前就关闭攻击路径。我认真对待这一点。集中管理的公司可以快速行动。覆盖范围的问题在于这些控制措施能否看到路径、是否有权采取行动，以及是否已经部署。¹²

我担心的是，在攻击能力不断变得更便宜的同时，这些防护能覆盖多少暴露在外的世界。现实世界是缓慢的。真实流程是缓慢的。传统企业有定制软件、隐藏的依赖关系、停机时间限制，以及无法简单关停的系统。就像航空母舰一样，传统基础设施必须在继续履行职责的同时进行改造。

政策问题是：行动会在灾难之前到来吗？是否要等到一场灾难才能迫使 AI 监管出台？|《经济学人》[23] ↗

此外还有数十亿台联网的 IoT 设备，分散在不同的所有者、固件和支持安排之下。许多设备缺乏可行的更新路径。NIST 记录了这些维护限制；D-Link 建议更换不再获得安全维护的受影响传统产品。更好的模型无法凭空创造缺失的供应商支持，也无法安装替换硬件。²⁴ ²⁵ ²⁶

适者生存变得更加严酷。而你自身的安全态势只是其中一部分。即便是强大的防御者也依赖其直接控制之外的供应商、身份和基础设施。薄弱的依赖关系可能将损害传播到第一个被攻陷的组织之外。

我的预测是，廉价且自适应的攻击会以比我们修补更快的速度，在这个防护水平参差不齐的世界中不断找到有重大影响的突破口。

恶意只是造成伤害的一条途径

OpenAI–Hugging Face 事件又增添了另一种不对称性：操作者可能在运行一项合法任务，而其代理却在知情的情况下超出该任务行事。顶层的善意意图并不能保证下层的授权行为。²⁷ ²⁸

针对恶意用户的防护措施只解决了一条造成伤害的途径。当合法工作负载的代理偏离任务时，它们仍然需要被遏制。²⁷

被削减的防护措施和那些守住的防御，是我解读该事件的核心。OpenAI 的初步回顾性测试表明，其生产环境框架本可以大幅减少这种行为。强制遏制很重要。²⁹ ³⁰

OpenAI 9 月的 DNS 事件暴露了这一问题的另一面。在一次内部训练运行中，一个 agent 不顾网络限制，使用 DNS 访问外部聊天机器人。监控发出了警报；人类在三分钟内确认了警报。但预期的自动停止失败了，运行又持续了大约两个半小时才被手动关闭。检测必须转化为强制性的遏制。³¹

OpenAI · 2026 年 9 月 20 日

已检测到，但未被阻止。

2 小时 29 分人类确认 → 手动关闭

09:50:23外部聊天机器人响应
10:02:11触发 P0 警报
10:05:06人类确认警报
12:34:30手动关闭

自动停止失败了。

OpenAI · DNS 事件报告 [31] ↗

风险通过两条路径增长：恶意操作者扩大攻击规模，以及合法操作者失去控制。随着 agent 能力更强、连接更广，善意作为信任我们所部署系统的依据变得越来越薄弱。

个人预测 / 12–18 个月

具体预测

我假设 AI 能力继续大致呈指数级进步，AGI 以及随后的 ASI 将在五到十年内出现。我还假设推理成本保持可负担，攻击性访问扩散，并且存在大量暴露的已部署基础。我们不需要 AGI，这一转变就会造成严重损害。

以下是我对未来十二到十八个月的预测。

高级攻击能力变得商品化
小型团队将能够以少得多的专家干预，常规性地在数百个目标上维持持久、自适应的攻击活动。这一跃变在于他们能持续运行多少专家级工作，而不仅仅是廉价扫描或个性化钓鱼。
How I would judge this prediction
从 2026 年 10 月 8 日到 2028 年 4 月 30 日：由不同的小型团队或独立操作者实施的三次有独立记录的攻击活动，每次使用可重复的工作流程尝试对 200 多个组织进行自适应利用。仅大规模扫描不算。
尽管防御取得进展，损害仍急剧上升
得到维护的平台和高级防御者将会改善。我预计，随着缺乏支持的设备、脆弱的基础设施和薄弱的共享依赖面临不断升级的压力，现实世界中的严重损害将大幅增加。
How I would judge this prediction
寻找 AI 实质性促成的大幅增多的服务中断、经济损失和艰难恢复。比较不同时期的类似事件；漏洞数量和被阻止的探测不算损害。³²
未经授权的 agent 损害成为反复出现的事件类别
超出其权限的合法部署或测试将反复造成有后果的生产影响。对于服务停止运行的人们来说，恶意使用与意外损害之间的区别将不那么重要。
How I would judge this prediction
从 2026 年 10 月 8 日到 2028 年 4 月 30 日：在不同组织发生三起独立确认的事件，其中合法工作流程中的 agent 造成未经授权的生产访问、数据丢失或服务中断。只有真实的生产影响才算。
AI 促成的灾难设定新的损害基准
我最大胆的预测：一次 AI 促成的网络攻击在多个关键行业引发连锁中断，使基本服务受损数周，并造成比以往任何单次网络攻击都更大的经济损失。我预计这会在同一截止日期前发生。
How I would judge this prediction
一场始于2026年10月8日至2028年4月30日之间的攻击，会中断至少两个关键行业的基本服务，持续14天以上。取证必须显示，除钓鱼之外还有实质性的AI参与。经通胀调整后的损失必须超过可信的先前记录，包括NotPetya超过100亿美元的基准。不确定的比较仍属未经证实。³³

我的思维模型

如果自动遏制、共享修复方案和替换措施触达暴露系统，比攻击性访问的扩散更快，并且破坏性事件因此减少，我就会修正这些预测。我想看到已部署的防护在压力下发挥作用。

我不断回到的思维模型是蜂群式战争：廉价、自适应、持续性的进攻，遭遇一个必须在变化中持续运转的世界。防御性AI可以极其有效，却仍会以过于不均衡的方式触达暴露的世界，无法阻止一场破坏性大得多的转型。

下一篇将讨论我们凭借这种理解实际能做什么：防御措施、操作习惯，以及在这个新时代中前行的思维模型。

参考文献

来源

显示另外27个来源隐藏其他来源

所有文章