O'Reilly 调研报告：AI 安全的威胁、工具与技能缺口现状

O'Reilly Radar· Mike Loukides·2026-10-21 19:02· 2 小时前AI 评分57

AI 安全现状：威胁、工具与技能缺口

AI 导读

O'Reilly 基于 209 名安全从业者（总样本 351 人）的调查报告分析 AI 与安全的交叉现状。最常见攻击是 AI 生成钓鱼（55%）、漏洞扫描利用（30%）和 AI 辅助恶意软件生成（26%）；受访者最担心的风险是过度依赖 AI 未加人工验证和通过 AI 工具泄露敏感数据（各 49%）。

正文 · 原文

人工智能已永久改变了网络安全。虽然 OpenAI 对 Hugging Face 的无意攻击让 AI 生成的攻击进入了所有人的视野，但 AI 早已在安全专业人士的关注范围内。AI 使攻击能够达到几年前难以想象的规模。新发现的零日漏洞几乎可以立即被利用。深度伪造及其对钓鱼、语音钓鱼和其他攻击的影响曾是我们明知真实存在的噩梦；我们只是希望还能多几年时间来准备防御。当然，OpenAI、Anthropic、Google 以及其他我们尚不知晓的实验室对安全的疏忽，已经导致 AI 智能体在试图解决问题时攻击其他系统。

当头条新闻大肆渲染 AI 毁灭人类时，末日论 AI 更可能是一枚烟幕弹，用来转移人们对当下正在发生的真实危害的注意力。我们不需要恐慌。我们需要评估现状：威胁是什么？技能缺口在哪里？预算在哪里？这些问题的的重要性怎么强调都不为过；Tomasz Tunguz 在撰写关于 Theory 2026 AI 调查的文章时指出，安全是 AI 应用的最大障碍。为了开始回答这些问题，我们在 9 月开展了一项调查，询问信息安全专业人士关于人工智能与安全交叉领域的问题。351 名受访者完成了完整调查，其中 209 人自认为其工作涉及安全。本报告聚焦于这 209 名受访者。

攻击、风险与应对

52% 的受访者表示，他们的工作很少（34%）或从未（18%）涉及 AI 生成的攻击。这似乎不太可能。最可能的解释是，安全职业涵盖广泛的职责范围；许多安全专业人士并不直接从事防御工作。这一群体包括审计员、软件开发团队中的安全专家、战略师、架构师等。另一种可能是，大多数钓鱼邮件要么被自动过滤器（本身也是 AI 的一种应用）拦截，要么被收件人立即删除；许多公司要求员工参加涵盖识别钓鱼邮件等主题的培训课程。尽管如此，这仍然令人惊讶。多年来，简单得多的 AI 版本一直被用于生成垃圾邮件和钓鱼邮件。AI 生成钓鱼邮件的能力已在 2021 年 BlackHat 大会上通过 GPT-3 得到展示。它早已是安全图景的一部分。

最常观察到的攻击是 AI 生成的钓鱼攻击（55%）、漏洞扫描与利用（30%）以及 AI 辅助的恶意软件生成（26%）。频繁遭遇 AI 攻击的受访者也报告了更多类型的攻击。这并不令人意外：如果你更频繁地看到攻击，你就更有可能观察到具体的攻击类型。关联最强的是 AI 生成的钓鱼攻击，55% 的全体受访者见过此类攻击，而在每周都观察到 AI 生成攻击的受访者中这一比例达到 86%。在每天观察到攻击的受访者中，报告钓鱼攻击的比例略低（78%）。鉴于样本量较小，这一差异可能并无实际意义。另一种可能是，每天观察到攻击的受访者看到的攻击范围要广泛得多，钓鱼攻击对他们而言确实不那么重要。

受访者报告看到深度伪造音频和视频的情况少于钓鱼攻击，但远非不存在（25%），这类内容可用于 vishing 及其他冒充攻击。报告完全自动化攻击（如 OpenAI 对 Hugging Face 的攻击）的受访者多于我们的预期，尽管比例仍然较低（16%）。观察到针对模型的对抗性输入（包括提示注入）的受访者比例同样较低（仅 13%），但这已足以表明提示注入及其他针对模型的攻击是真实存在的担忧。

当我们询问受访者最担心哪些 AI 相关风险时，得到的答案有所不同。最常见的两项担忧是过度依赖 AI 工具而缺乏人工验证，以及通过 AI 工具泄露敏感数据；各有 49% 的受访者选择了这两项答案。（选择这两项答案的受访者人数恰好相同，不过两组之间几乎没有关联。） 

尽管过去一年 AI 输出的质量有了很大提升，但依赖未经核实的 AI 输出仍然存在问题。然而，AI 可以轻易生成超出人类审查能力的输出量，软件团队如今被大量需要人工审查才能合并的 AI 生成拉取请求所淹没。这种过载正促使许多人重新思考审查流程，另一些人则直接拒绝 AI 生成的 PR。代码审查在发现缺陷方面从来都不太擅长；它更擅长让团队熟悉代码库的进展。或许依靠详尽的测试就足够了。

当大部分软件由 AI 编写时，理解你的软件如何运作是一个更深层的问题。虽然 AI 擅长回答关于代码库的问题，但它通常无法获取代码背后的推理，而这些推理往往隐藏在机构知识中——而机构知识常常意味着“哦，对，就是三年前退休的那位”。此外，如果编写代码在开发者工作中所占的比例变小，他们可能会丧失编程技能。安全专业人员自己可能也会怀疑，在红队演练、日志分析和漏洞检测方面依赖 AI 是否会导致自身技能退化。

企业还担心通过 AI 泄露敏感数据。大多数 AI 提供商提供企业账户，承诺不会用提示词或附件文档中的数据训练模型，但这些服务条款是否可信并不明确。前沿实验室越来越迫切地需要训练数据，甚至不惜收购濒临倒闭的初创公司以获取其数据。不妨带着怀疑的眼光阅读 OpenAI 关于零数据保留与隐私安全处理的说明，并追问这究竟是真的保护了企业数据，还是允许以人类无法直接观察的方式使用数据——例如自动生成合成数据。安全专业人员的职责就是保持怀疑；思考软件、协议和政策可能如何被滥用本就是工作的一部分。

约三分之一（35%）的受访者担心攻击者利用 AI 发现漏洞的速度快于他们缓解漏洞并应用补丁的速度。更新软件通常是良好做法，但也自带风险：软件更新可能引入新缺陷，并可能导致与既有工具和做法不兼容。而防御方目前还无法将漏洞检测、打补丁和更新工作委托给 AI。那么总体而言，AI 对防御方帮助更大还是对攻击者帮助更大？Andrew Ng、Bruce Schneier 等人认为目前攻击者占据上风。发现漏洞、利用漏洞构造载荷并发动攻击，比阻止一次攻击要容易。但随着 AI 越来越有能力在漏洞酿成问题之前发现并修补它们，平衡最终会向防御方倾斜。

令人意外的是，只有四分之一（25%）的受访者将 AI 生成的钓鱼攻击列为最关注的问题之一，尤其是钓鱼是现实中最为常见的攻击方式。也许我们对钓鱼已经太过习以为常；我们都参加过安全培训，都亲身经历过，有些人甚至已经中招。钓鱼在许多情况下也是一种被自动处理的攻击。熟悉未必总会滋生轻视，但几乎每天都能见到的东西通常不会是你最大的担忧。 

更奇特的攻击方式就更少被担忧了。例如，只有 11% 的受访者将提示注入列为最关注的问题之一。然而，提示注入的真实案例正越来越频繁地出现。一项近期研究观察到，约 1% 的简历包含隐藏文本以欺骗 AI 系统。Google 已注意到多种提示注入，从无害到公然敌意不等。而在 2025 年，OWASP 认定提示注入是 AI 用户面临的最大安全风险。令人意外且遗憾的是，它似乎并未引起安全专业人员更大的关注，尤其是提示注入是一种或许能通过仔细过滤而减轻、但无法彻底消除的漏洞。

担心数据投毒的安全专业人士更少（4%）。对于训练自有模型的组织来说，数据投毒是一个严重问题，但如今大部分最耗费资源的模型训练都由前沿实验室完成。然而，随着基于企业数据的后训练变得越来越普遍，这种情况正在改变。我们认为，本地专用模型的趋势将持续下去，而数据投毒（有别于数据窃取）将更受关注。 

我们专门询问了智能体的使用情况，随着 OpenClaw 和 Gas Town 于 2026 年 1 月发布，智能体的使用在今年呈爆发式增长。智能体带来了另一系列安全问题。我们都听说过那些可怕的故事：智能体删除了生产数据库、不当处理数据、生成了本不该发送的电子邮件等等。正确使用智能体需要高度关注细节，而许多用户并不习惯承担这种责任，也不够了解安全，无法履行这种责任。

受访者最担心的是权限过大或归属不清（28%）。这并不令人意外；许多安全问题都可追溯到权限。归属不清使权限问题更加危险。当智能体对模型进行大量调用、使用工具并委派给其他智能体和模型时，很快就会不清楚谁（或什么）是任何操作的负责主体。我们当前的认证和授权系统无法很好地处理这种情况，因为这些系统假定身份和授权是长期、稳定的实体。

缺乏监控或可审计性位列第二（19%），其次是无法验证智能体是否在其角色范围内行事（18%）。这些担忧密切相关：使用智能体时归属往往不清晰，而缺乏监控会使情况更糟。同样，当你无法监控时，就很难（甚至不可能）验证智能体是否安分守己——最近我们看到了太多智能体以不当方式放弃其授权角色的例子。

数据泄露再次出现，但鉴于 49% 的受访者表示数据泄露是他们最担心的问题之一，它在列表上的排名低得令人意外（15%）。这可能反映了单选和多选题之间的差异；许多受访者担心数据泄露，但这并非他们最担心的问题。 

提示注入在两个问题中排名都不高：9% 的人将其选为对 AI 智能体最担心的问题，11% 的人将其选为最担心的问题之一。 

政策与资金

尽管近四分之三的受访者表示其公司已制定 AI 使用政策（72%），但不到一半（44%）表示安全政策“全面”，而 28% 表示政策较为基础、需要更新。另有 9% 表示其雇主没有政策，但正在积极制定。19% 表示没有政策，或“不知道”，我们认为这一回答等同于“没有政策”。

组织需要明确的 AI 政策，告诉员工可以使用哪些 AI 工具，以及他们应该（和不应该）如何使用这些工具。员工需要了解公司是否对将数据发送到外部敏感、公司选定的 AI 提供商是否保证其数据不会被用于训练、哪些署名做法可以接受等等，这一点非常重要。我们对那些拥有需要更新的基本政策的组织抱有一些同情。AI 的能力正以前所未有的速度发展；2023 年还足够适用的政策现在肯定需要更新，而仅仅一年前的政策仍然早于 OpenClaw、Claude Code 和 Codex 等智能体的广泛使用，也早于用于扩展智能体能力的技能和工具的广泛使用。让政策与 AI 的当前状态保持同步是一项艰巨的任务。

政策的存在似乎与员工是否安全使用 AI 有关。我们询问了“影子 AI”（在任何明确政策之外使用 AI）的情况，发现 36% 的受访者认为他们的队友偶尔使用“影子 AI”，23% 的人认为这种做法很普遍。约四分之一（24%）的人认为影子 AI 的使用很少见；16% 的人不确定。 

影子 AI 与 AI 政策存在之间的关系，在很大程度上告诉我们政策是否有效。拥有全面 AI 政策的受访者更可能表示影子 AI 使用很少见（37%）或只是偶尔使用（36%）；只有 17% 的人表示影子 AI 在他们公司很普遍。相比之下，报告有基本政策的受访者中有 35% 表示影子 AI 很普遍——这一比例与报告完全没有政策的人（37%）几乎相同，仅略好于表示政策正在制定但尚不存在的人（28%）。拥有基本政策、政策正在制定或没有政策的人，报告影子 AI“很少或从未”使用的可能性较低（分别为 13%、6% 和 21%）。

诚然，影子 AI 在所有情况下都可能被低估，但我们的数据清楚地表明，全面的 AI 政策是限制它的有力工具。如果政策很差或不存在，员工就会使用任何可用的工具来完成工作，这会导致 AI 使用不一致、不安全，甚至可能适得其反；它甚至可能带来法律、合同和声誉风险。当没有政策时，AI 也可能无法得到尽可能广泛的使用。告诉员工期望是什么有助于他们负责任地行事。好的 AI 政策不仅告诉员工不要做什么；它还传达了如何以适当的方式使用 AI，甚至可能提供培训。 

当我们询问各组织是否为 AI 安全提供了充足资金时，情况比我们预期的要好。最大的群体（32%）表示 AI 安全资金充足，28% 表示部分充足。只有 16% 表示资金严重不足，23% 表示不确定。我承认这个结果让我感到意外。安全领域常常资金不足，部分原因是成功的一年就是“没有发生坏事”的一年，而“我们需要增加支出，以便坏事不再继续发生”在预算讨论时并不是一个容易打动人的说法。但过去几十年来，高管们逐渐意识到了这一点；高调的攻擊和数据窃取会导致 CIO 和 CISO 丢掉工作，这足以引起任何人的注意。 

我们发现，全面的 AI 政策与充足的安全资金之间存在强关联。在表示公司拥有全面 AI 政策的受访者中，近一半（49%）也表示 AI 安全资金充足，另有 29% 表示部分充足。该群体中只有 3% 表示 AI 安全资金严重不足。这意味着近 80%（78%）至少对资金部分满意。

再一次，表示其组织拥有基本政策、正在制定政策或没有政策的受访者给出的答案惊人地相似。分别有 16%、22% 和 21% 表示 AI 安全资金充足。这当然算不上信心投票，不过我们或许能从中得出另外两点信息。制定政策看起来比拥有过时政策略好一些；公司正在付出努力并进行投资。这有一定的直觉合理性，但也可能是一厢情愿。在组织拥有基本政策的受访者中，最大的子群体表示 AI 安全资金部分充足（42%）。中庸的政策对应中庸的资金。这公平吗，还是现实就是如此？

工具与技能

虽然 AI 为安全专业人员提供了强大的新工具，但他们尚未充分利用这些工具。三分之二的受访者（68%）报告称，他们使用聊天、copilot 或类似工具进行研究或文档工作。但只有略超三分之一的人使用 AI 扫描漏洞（38%），略超四分之一的人将其用于威胁检测（27%），四分之一的人将 AI 用于事件响应（25%）。安全专业人员广泛使用通用 AI。然而，使用漏洞扫描器等专用工具的人仍占少数。

为进一步探究，我们询问了 AI 在哪些方面改善了受访者的工作流程。超过一半的人表示 AI 改善了他们的研究或文档工作流程（61%），并减少了重复性工作（57%）。但只有 29% 表示 AI 改善了他们的分诊工作流程，17% 表示它提高了检测准确率。这些结果印证了我们在工具使用方面看到的情况。

当我们观察谁从 AI 中获益最多时，工具使用与影响之间的关系就更加清晰了。那些只使用聊天或 copilot 的人，在研究或文档编写速度上看到了最大的提升。聊天机器人和 copilot 能节省时间，尤其是在撰写包含大量模板化文本的报告时，但在主动防御攻击或从攻击中恢复时帮助不大。没有专用工具，这些工作只能手动完成。

使用安全专用 AI 工具的受访者，相比仅使用通用聊天机器人或 copilot 的受访者，更有可能报告在告警分诊（42% 对 18%）和检测准确率（27% 对 5%）方面的改善。 

未使用任何 AI 工具的受访者最有可能表示他们没有看到任何明显的积极影响，这并不令人意外。更大的问题是，他们为什么看到了任何影响。 

最后，我们考察了“技能差距”，以确定哪些技能和工具能让受访者更高效。只有 7% 的受访者表示他们不觉得自己存在技能差距；该群体也最有可能表示他们未使用任何 AI 工具。显然，我们的大多数受访者将 AI 视为未来不可或缺的一部分，并希望参与其中。 

34% 的受访者希望更有效地使用 AI 工具。这一愿望在所有 AI 用户中分布均匀，无论是仅使用聊天/copilot 的用户（36%）还是安全专用工具的用户（37%）。24% 希望学习如何使用 AI 保护系统（包括使用 AI 进行红队演练）；19% 希望学习 AI 特定的攻击技术；12% 希望学习如何检测 AI 生成的攻击。 

安全的未来

我们一开始就声称 AI 已经永远改变了计算机安全。除了许多关于研究项目无意中攻击其他站点的报道外，AI 已成为攻击者的工具。他们不会被关于 AI 是否抢走工作的争论所分心；他们的目标是利用受害者，而 AI 显然会帮助他们。正如 Ben Lorica 在其通讯中指出的，攻击的经济学正在改变：AI 具有无限的耐心，可以尝试多种攻击向量，可以放弃失败，并且可以以人类难以匹敌的规模运作。

AI 也是防御者的工具。我们看到使用 AI 的安全专业人员比预期要多，尽管没有我们希望的多。许多防御者正在利用聊天机器人和 copilot，但尚未采用更专业的工具，而这些工具与分诊和威胁检测工作流程的改进相关。

防御者的工具无疑需要成熟，但工具并非全部答案。成功采用 AI 的组织将拥有适当的 AI 使用预算和政策；他们将理解采用 AI 带来的风险；他们将主动填补技能差距；他们将识别不再有效的流程，并“将疤痕组织转化为基础设施”。正如 Arvind Narayanan 和 Sayash Kapoor 所论证的，AI 归根结底是一种“正常技术”，需要数年时间才能渗透到组织中。工具、预算和思维流程都需要改变，而这需要时间。如果个人孤立地工作，按照自己的意愿采用工具和想法，就无法在 AI 方面领先于曲线。这需要整个组织的努力。

来源：O'Reilly Radar · oreilly.com