Microsoft 介绍 Project Perception 如何管控企业内部 agentic insider

Microsoft：官方博客· Hayete Gallot·2026-10-19 21:00· 23 分钟前AI 评分40

保护智能体内鬼

AI 导读

Microsoft 提出用 Project Perception 管控企业内部数量快速增长的 agentic insider，通过身份、数据、云、端点、网络和运行时等传感器信号发现智能体并纳入管理。

正文 · 原文

在过去几个月里，随着越来越多的安全事件被公开披露，人们对 AI 安全的担忧日益增加。这些事件暴露出模型已经变得多么强大，以及如果处理不当，它们会构成多么重大的威胁。而在全球创新竞赛的背景下，随着模型变得更加强大，这一挑战还将进一步加剧。

尽管大多数人担心的是威胁行为者利用强大的模型发起攻击，但人们较少关注我们自己内部网络中的智能体。由于是我们自己为公司内部部署了这些智能体，我们便默认信任它们。

不幸的是，前沿模型无论来自何处，都不能被信任。这并不是因为模型天生具有恶意。模型被训练以达成结果，这往往会导致奖励黑客行为，而且模型并未围绕组织规范或判断力进行优化。智能体是不可预测的。它们会随着上下文变化而调整，可能不会按预期行事，并且会与其他智能体协作和串通以达成目标，而无需被攻陷。

智能体已在企业中大规模部署，且数量正在快速增长。这些智能体往往权限过高，可以访问数据、工具和系统，并能在关键流程中采取行动和做出决策。它们已成为企业中的活跃参与者。

它们就是智能体内鬼。

对这些智能体的监控和保护必须持续进行。我们需要实时了解智能体在做什么、这些行为会带来哪些风险，并据此调整它们的行动能力。

为了管理和控制这些内鬼，我们需要 Guardian Agents——一个既有的行业术语——全天候在每一个智能体的每一个行动发生之前进行监视和干预。

一个智能体由模型、编排其工作的 harness、由工具和资源组成的行动空间，以及其执行所在的运行时共同构成。保护智能体需要在多个层面提供防护：身份、权限、数据、端点、网络、云和运行时。

今年 7 月，我们发布了 Project Perception，这是一个智能体安全系统，它使用我们新的网络技术栈以及红队、蓝队和绿队智能体团队，帮助防御者快速行动，同时抵御来自企业外部的 AI 驱动攻击。

同一套网络技术栈也直接适用于管理和治理在企业中运行的智能体内鬼。

可以利用 Project Perception 来遏制智能体内鬼，对非确定性智能实施确定性控制：

• 传感器/信号/执行器：汇集来自各类传感器（身份、数据、云、端点、网络、运行时）的信号，以发现企业中的智能体，并通过为其分配身份、容器以及一组策略和权限将其纳入管理。
• 上下文：利用这些信号动态计算智能体所尝试执行的操作相关的风险。
• Harness/agents/models：基于动态代理风险，一支由Guardian Agents组成的团队（包含绿色和蓝色代理）会主动且持续地监督每个代理的每一个动作，并随着风险状况的上升，实时进行精准响应。

这正是代理式安全为安全从业者改变局面的地方。

Project Perception 可以实时监督，同时为从业者提供可追溯性，以便他们检查发生了什么、理解风险为何出现，并运用所需的判断力相应地更新其安全系统。代理式安全提供速度。从业者提供判断力。防御者正是以此开始以与其所防范的系统相同的速度运作。

如今，安全系统能够可靠地观察代理的行为。这些信号至关重要，并告诉我们需要遏制什么。我们的安全控制应越来越能够不仅询问“正在发生什么？”，还要询问“为什么会发生？这是否与任务意图一致？”这将要求对模型本身具有更高的透明度，不仅是输入和输出 token，还包括思维和思维链 token。只有这样，我们才能真正理解模型的意图是否与代理的目的相一致。模型透明度不会取代遏制。它将使遏制更智能、更强大。并且它将使我们能够更好地为问责和可追溯性提供信息。这需要成为保护代理式内部人员的下一步。

借助 Project Perception，你今天就可以开始保护你的代理式内部人员之旅。创新与安全之间不应存在取舍。

Hayete Gallot 领导 Microsoft 帮助组织在 AI 驱动的世界中安全运营的工作。她的职责范围包括全球规模的身份、威胁防护、合规和数据安全。

文章 Securing the agentic insider 首次出现在 The Official Microsoft Blog。

来源：Microsoft：Official Blog · blogs.microsoft.com