安全专家：AI 智能体越界事件源于隔离与监控失效，而非模型失控

自7月以来，美国前沿人工智能实验室及其他人工智能领军企业接连披露了一系列事件，其模型在未经授权的情况下访问了外部计算机系统，这类事件通常被描述为AI智能体“失控”。

这些事件中最著名、被研究最多的是OpenAI对Hugging Face的入侵，OpenAI最初将其描述为“一起前所未有的网络事件，涉及最先进的网络能力”，随后又称其源于“失准行为”，即其创造者并非有意为之的行为。

在Hugging Face事件的消息传出后，Anthropic披露其一个模型未经授权访问了三家组织的生产基础设施；Meta表示其一个AI模型在网络安全测试期间入侵了另一家公司；谷歌则承认其Gemini模型实施了三次“无定向的计算机入侵”。

尽管媒体报道和模型提供商自身都使用了诸如失控智能体或失准之类的措辞，但接受CSO采访的网络安全专家认为，这种说法掩盖了一个简单的事实：这些事件是由前沿实验室在实施数十年来早已为人熟知的网络安全实践方面的不可原谅的失败所导致的。

[ 另见：保护AI智能体：关键控制措施与最佳实践以及当你的AI智能体失控时，谁来负责？ ]

据CSO在9月三场行业会议及后续对话中采访的六位网络安全专家称，使问题更加严重的是，前沿实验室——尤其是OpenAI和Anthropic——拒绝了他们关于如何改进网络安全风险管理实践以避免此类暗中入侵的建议，并常常将网络安全实践归入“AI安全”之下，认为自己在该领域拥有更胜一筹的专业知识。

“老实说，他们并没有自己以为的那么出色，”贝里维尔机器学习研究所联合创始人加里·麦格劳对CSO表示。“如果他们能更尊重那些来之不易的专业知识——来自安全各个细分领域的人，比如取证或安全工程、构建沙箱、建立或监控网络安全态势——那就更好了。”

Anthropic和OpenAI均未回应CSO的置评请求。

在网络安全基本问题上的不可原谅的失败，尤其是隔离方面

据接受CSO采访的网络安全专业人士称，前沿AI实验室最大的网络安全失败之一，是未能实施可追溯至20世纪90年代的久经考验的隔离实践，例如建立能够有效阻止智能体逃出其测试环境的安全沙箱。

“这些是我们多年来一直在处理的事情，”SANS研究所首席AI官兼研究主管罗布·T·李对CSO表示。“没有理由每次发生这种事都是‘哎呀，我们不知道它们是怎么跑出来的。’”

“你可以看出他们的安全团队还相当稚嫩，”李说。“网络安全隔离方面的人确实认为，我们看到隔离被突破的多数原因在于它没有被正确设置。”

李补充道：“Hugging Face事件明确表明，问题并不在于智能体超级聪明。而在于确实存在一个漏洞被利用了，因为隔离方面没有配置正确。”

RAND 人工智能、安全与技术中心的技术常驻专家 Dan Wallach 认为，AI 实验室的安全失败归根结底在于它们没有把网络安全放在优先位置。

“我会说他们没有把网络安全放在优先位置，”他告诉 CSO。“我不认为我能对所有实验室都这么说，”Wallach 说，并指出法国 AI 实验室 Mistral 发布其 Large 4 AI 模型一事，该公司称该模型曾试图在测试环境之外运行，随后被 Mistral 切断。

他补充说，“隔离这些 AI 东西并不是什么火箭科学。安全人士一直在讨论如何做到气隙隔离，也就是从物理上完全没有电气途径让数据从这里传到那里，或者在没有气隙隔离的情况下，实施非常严格的出站控制，确保没有任何东西能推出去。”

除此之外，前沿实验室对其智能体行为的监控似乎也不充分。Wallach 说，Hugging Face 事件“持续了好几天，却没有人注意到”。“人们启动了这些实验，却没有盯着它们。这就是缺乏控制。然后他们对发生的事感到惊讶。”

将安全与网络安全割裂

说服前沿实验室提升安全水平的一个障碍是，它们过度专注于所谓的“安全”，却没有把这种关注延伸到传统网络安全实践上。

“我能理解为什么安全行为看起来像 AI 安全，”RAND 的 Wallach 说。“但如果你评估这个 AI 工具的方式是把它放到互联网上，看看会发生什么，那么这正是经典安全工具的用武之地。”

SANS Institute 的 Lee 说，“如果这些前沿实验室真的想测试他们的东西，他们需要加强网络安全部分。但他们的智能体跑出去后，他们的本能反应却是说，‘这不是网络安全问题。’它实际上已经变成了一个 AI 安全问题，与网络安全方面割裂开来。”

许多 AI 专家建议，如果 AI 公司采纳网络安全专家的建议，可能有助于终结那种引发担忧的、不受约束的 AI 智能体行为。“AI 安全关注的是道路规则，”Lee 说。“一切都围绕护栏规则。”

但“我确实相信网络安全可以遏制 AI，”他说。“我们只需要进入事情发生的房间，在桌边有一席之地。我们这个领域尽可能靠近 AI 安全人士很重要。”

网络安全糟糕可能增加责任

如果前沿实验室忽视了本可减少或消除那些引发广泛担忧的事件的网络安全基本原则，那就更说明它们应当为其“失控”智能体承担责任。保险业已经站到了追究 AI 行业高管责任的一边。

民主党参议员已提出立法，要求 AI 智能体运营者对黑客事件承担责任。就连对 AI 友好的白宫似乎也得出结论，认为公司应为其失控智能体承担责任，而美国联邦贸易委员会正在对Anthropic、OpenAI 和其他 AI 实验室展开调查，审查其技术对消费者构成的危险。

然而，在最近的立法和委员会听证会上，实验室代表坚持认为，他们不对失控的 AI 智能体负责。

专家表示，这一立场站不住脚，尤其是考虑到这些实验室在网络安全方面的失误。

BIML 的 McGraw 将实验室的立场概括为：“别把律师派给我们，把它交给我们的程序。这是我们程序的错。”他对这一论点的评价是：“这纯属胡说八道。”

他还质疑实验室的运营失误是否削弱了人们对其更广泛安全能力的信心。“他们活在自己的泡沫里，”他说。“他们连清晰、简单的操作都做不好，这对他们在安全工程方面的能力可不是好兆头，而安全工程要难得多。”

SANS 的 Lee 表示：“这正是可追溯性在责任和保险方面发挥作用的地方，因为如果这些代理中的一个被检测到，并且他们能够追溯到发起它的人，责任就会介入并说，‘嘿，你，你违法了，因此，我们需要起诉。’”

安全领导者现在应该做什么

即使越来越多的证据表明前沿实验室没有实施健全的网络安全实践，而且关于责任的争论仍未解决，CISO 和其他安全领导者也可以采取措施保护自己免受 AI 模型失误的影响。

首先，在评估基于前沿实验室模型的工具时，“我总是会找外部实体来帮忙，”McGraw 说。“AI 极其强大且极其有用，但它伴随着非常严重的、成年人级别的风险，这些风险确实会影响企业。识别这些风险，设置正确的控制措施，确保 AI 的采用不是随意、杂乱无章、遍布整个企业的，而是有某种集中化的权威机构在审视这个问题，然后为下一件大事做好准备，那就是代理集群。”

对 Lee 来说，最好的保护是提出正确的问题。“这始于提出正确的问题，然后为那些能够展示更高水平网络安全能力的 [AI 实验室] 找到工具和能力，”他说。“你真正要找的是那些处理真正难题的团队中的人。”

但从根本上说，应对 AI 模型网络弱点的最佳准备是确保整个组织都落实了所有长期存在的网络安全风险管理实践。“这是讨论中最不令人兴奋的部分，”Wallach 说。“这是网络版的‘吃你的蔬菜’。”

“我们需要重新设计我们的软件，使其具有更好的安全性，”他补充道。“我们需要在所有账户上启用多因素认证。从防御性网络的角度来看，我们需要吃我们的蔬菜。而且我们知道该怎么做。”