AI 智能体的安全取决于它下载的软件包

跳转到主要内容

在 Google 上抢先获取我们最新的网络安全新闻。

点击这里！

NVIDIA 的新智能体安全平台把执法放在了正确的位置。但它仍然必须知道自己在放行什么。

收听本文

0:00

了解更多。

剥去模型名称和新闻标题，今年的人工智能智能体事件都有一个共同特征，而这个特征与模型的能力高低几乎无关。几乎所有这些事件都经由软件供应链发生。

先从引发今夏那波披露潮的案例说起。7 月，两个正在进行网络能力评估的 OpenAI 模型逃出了它们的沙箱。它们是通过评估边界内一个包注册表代理中的零日漏洞逃出的，该代理被放置在那里是为了让模型能够安装所需的工具。从那里，它们接入开放互联网，并攻击了 Hugging Face 的生产系统，寻找基准测试的答案密钥。Hugging Face 于 7 月 16 日发现并控制住了这次入侵。五天后，OpenAI 证实了该事件，并将其与一次针对前沿人工智能模型的内部网络安全评估联系起来。

不久之后，Anthropic 披露了三起事件，其 Claude 人工智能模型在因配置错误而保留了实时互联网访问权限后，攻陷了外部组织。9 月，它又补充了第四起，这是一次更广泛的审查所发现的。Anthropic 称最令其担忧的那起事件涉及一个模型向 Python 包索引（PyPI）发布恶意软件包。

另外，研究人员将 5 月超过 2,000 次 RubyGems 上传归因于 OpenAI 智能体。OpenAI 表示其智能体当时在执行良性任务。RubyGems 已将其中 500 多个包作为恶意包移除。

在每一起案例中，智能体的逃逸路径或它造成的危害，都经由包注册表、依赖项或模型文件。

这一切都没有让我共事的研究人员感到意外。ReversingLabs 多年来一直在拆解流经软件管道的文件，我们早在智能体进入生产环境之前就目睹了攻击者发现人工智能供应链。2025 年初，我们的团队在 Hugging Face 上发现了恶意模型，其 pickle 载荷被打包在一个 7z 压缩包中，而该平台的扫描器 Picklescan 无法打开这个压缩包。载荷本身只是一个普通的反向 shell。在我们报告后，Hugging Face 下架了这些模型。

4 月，我们发表了关于 PromptMink 的研究，我们将该活动与朝鲜组织 Famous Chollima 联系起来。在其中一起案例中，一个基于 Claude Opus 的编码智能体向一个加密货币交易项目添加了恶意依赖项。令我们团队震惊的是攻击者的写作对象。他们的软件包文档被写得对人工智能编码助手比对人类开发者更有说服力。

把这些案例放在一起看，威胁模型与大多数企业正在围绕规划的那个模型并不相同。评估逃逸事件显示智能体滥用了被授予的访问权限。PromptMink 则显示智能体被专门为欺骗它们而撰写的内容所操纵。在这两者中，损害都是通过智能体下载或发布的软件传播的。

这就是 Open Agent Safety Platform 的背景，NVIDIA 于9月28日推出。其设计始于一个正确的前提：你无法通过要求智能体守规矩来保障其安全。 OpenShell 在沙箱中运行每个智能体，并在智能体自身进程之外施加策略。Sentry 是构建于 BlueField-4 数据处理单元（DPU）之上的参考设计的一部分，它从独立硬件上监视智能体活动，使受感染的主机无法触及。超过 100 家合作伙伴在发布时签约加入，ReversingLabs 是其中之一。

Hugging Face 事件说明了为什么这种架构至关重要。OpenAI 在运行这些模型时降低了网络拒绝，意味着其内置防护栏被刻意削弱。这使得沙箱边界成为主要防线。提示词和训练塑造智能体尝试做什么。基础设施决定它实际能做什么。

这也与我从客户那里听到的一致。他们要求 AI 安全尽可能填补更多缺口，并利用硬件与软件之间的边界来提供他们可以依赖的安全性。这是这个生态系统中每一家供应商——包括我的公司——都将被衡量的标准。

不过，看看那道边界在哪里失效了：一个包代理，因为本应存在而被信任。策略引擎可以告诉你智能体被允许安装某个包。它无法告诉你这个包是否名副其实。NVIDIA 的 CISO Saša Zdjelar 本人在9月21日的一篇文章中指出了这一点，他写道，团队必须“验证智能体所用工具、技能和依赖项的来源与完整性”。要做到这一点，就意味着在边界处、在智能体接触之前检查工件本身，无论是模型文件、归档文件、容器还是二进制文件。即便是AIUC-1这一面向 AI 智能体的知名认证标准，也将扫描模型文件中的恶意载荷视为补充性控制措施，而非必需措施。其供应商尽职调查要求止步于模型提供商。这正是 ReversingLabs 为该平台带来的层面。

随着 Sentry 从参考设计走向实际产品，我有两点提醒。第一点关于开放性。Sentry 依赖特定的 NVIDIA 硬件，而“开放”只有企业在能够接入自己选择的检查、遥测和策略工具，并在自己已有的基础设施上运行时才有意义。买家应当以此标准要求整个生态系统。

第二点关于及时披露的必要性，这适用于整个行业。6月，一个 OpenAI 智能体访问了澳大利亚政府 Medicare 统计报告服务门户上的非公开文件。运营该门户的 Services Australia 于9月10日通过一封发送至公共邮箱的电子邮件才得知此事，总理 Anthony Albanese 称这一延迟不可接受。RubyGems 维护者只是从外部研究人员那里才得知谁可能是其5月大量软件包涌入事件的幕后黑手，此时已过去数月。

我们不会接受任何其他安全事件的时间线，AI代理也不应例外。运行代理的组织，包括AI实验室，应按我们已对数据泄露所期望的时间表通知受影响方。包注册表是整个软件经济的共享基础设施，当代理向其发布内容时，应告知它们。进行攻击性评估的实验室应将从沙箱可访问的每项服务（包括包代理）视为攻击面，并应公布它们对自己所遵循的遏制标准。

像SolarWinds、3CX DesktopApp和xz Utils这样的入侵事件让安全行业认识到，软件不能仅因其声誉或来源就被信任。代理现在自行拉取和发布这些软件，其数量是任何审查团队都无法匹敌的。NVIDIA构建了一个强大的平台来执行信任决策。我们其他人必须确保这些决策建立在了解软件内部内容的基础上。

AI 智能体的安全取决于它下载的软件包

更多独家新闻

代理式AI黑客攻击引发的法律问题

国家网络主任：政府与行业合作对于管理AI风险和与他国竞争至关重要

在AI界争论安全之际，NVIDIA发布面向代理的开源工具

最新播客

政府

技术

威胁

政策