跳到正文
AWS Machine Learning Blog· Joe McCarron·· 9 小时前AI 评分38

用 Skyflow 和 Amazon Bedrock AgentCore Gateway 保护智能体工具调用

Protect agent tool calls with Skyflow and Amazon Bedrock AgentCore Gateway

AI 导读

Skyflow 将 Skyflow Detect 作为请求与响应拦截器接入 Amazon Bedrock AgentCore Gateway,在数据到达工具前脱敏、在智能体读取结果前还原,并把文档替换为脱敏副本,智能体与工具代码无需改动。

正文 · AI 翻译

在本文中,我们将展示 Skyflow 和 Amazon Bedrock AgentCore Gateway 如何让敏感数据不进入 AI 智能体所调用的工具,也不进入这些工具所供给的模型上下文。我们将 Skyflow Detect 作为请求和响应拦截器添加到 Amazon Bedrock AgentCore Gateway。Skyflow 拦截器会在数据到达工具之前对其进行去标识化处理,在智能体读取结果之前将其还原,并在智能体打开文档之前用干净的副本替换文档。你的智能体和工具无需任何改动。

Skyflow 已在 AWS Marketplace 上架,该拦截器在 GitHub 上开源。

智能体通过工具行动,工具则搬运数据

智能体已从回答问题转向采取行动,而它们通过工具采取行动:模型上下文协议(MCP)服务器、SaaS API、文档存储和网络搜索。每一次智能体工具调用都是一次数据流。大多数企业管控措施覆盖的是进入模型和离开模型的内容。覆盖智能体发送给其工具的内容、或这些工具返回的内容的管控措施则少得多。

这一缺口体现在三个方面:

  • 敏感数据通过工具参数外泄。模型根据其上下文中的所有内容来编写参数,包括工具并不需要的细节。向智能体询问某位客户的情况,客户的姓名、账号或电子邮箱就会直接进入发往第三方服务器的查询中。该服务器位于你的 AWS 账户和合规范围之外。
  • 敏感数据通过工具结果返回。抓取的网页、CRM 记录和案件备注会进入模型的上下文、记忆、追踪和日志。即使任务根本不需要这些数据,这种情况也会发生。
  • 文档绕过了文本检查。Amazon Simple Storage Service(Amazon S3)、Box 和 Google Drive 等文档工具返回的是签名 URL,而不是文本。检查字符串的过滤器看到的只是一个链接,于是放行,随后智能体便打开了原始文件。

逐个修补每个智能体无法在团队和框架之间扩展,也无法触及第三方工具。管控措施需要放在每一次工具调用都会经过的位置,这样授权、内容安全和数据保护才能以相同方式适用于每个智能体和工具。

AgentCore Gateway 正是这样的位置。它位于智能体使用的每个工具之前,无论智能体运行在何种框架或模型上。它所做的不仅是路由这些流量。借助 AgentCore Gateway 拦截器,你可以以 AWS Lambda 函数的形式,在每一次经过它的调用上运行自己的代码。请求拦截器会在每次调用到达工具之前看到它,响应拦截器会在每个结果到达智能体之前看到它。两者都可以检查载荷、重写载荷或阻止调用。这使网关成为在 Policy 和 Guardrails 之外添加数据保护的自然位置。这一单一管控只需附加一次,即可覆盖网关背后的每个智能体和每个工具,而无需对智能体或工具代码做任何改动。

示例:一家大型欧洲银行的争议解决智能体

设想一家大型欧洲银行,拥有零售和企业银行业务,并承担严格的数据驻留义务。其运营团队正在采用智能体来调查银行卡争议。

一位分析师要求智能体调查一笔有争议的交易。智能体在网上搜索该商户,然后从 Amazon S3 拉取争议案件备注以进行总结。在没有保护的情况下,会发生三件事:

  • 模型根据上下文中的所有内容构建搜索查询。搜索提供方收到的是‘Mateo Jackson dispute AnyCompany Electronics London’。这是客户的姓名,被发送给了第三方,而这次搜索只需要商家信息。
  • 抓取的商家页面将无关的个人数据带入模型的上下文。
  • 智能体读取原始案件记录,其中包含客户的全名、电子邮件、电话号码和卡号信息。

在网关上启用 Skyflow 拦截器后,同一工作流的运行方式有所不同:

  • 搜索提供方收到的是‘[NAME_AJbrIud] dispute AnyCompany Electronics London’,其中 [NAME_AJbrIud] 是一个可逆的保险库令牌。商家结果返回时保持不变,提供方始终不知道客户是谁,而分析师在智能体的回答中仍能看到真实姓名。
  • Web 内容在到达模型之前已完成去标识化。
  • 智能体始终只会收到指向案件记录去标识化副本的链接。

解决方案概述

Skyflow 拦截器是一个 AWS Lambda 函数,挂载在 AgentCore Gateway 的两个拦截点上:

  • REQUEST 在网关调用工具之前运行。
  • RESPONSE 在工具返回之后、智能体看到结果之前运行。

在每个拦截点,它都会调用 Skyflow Detect 来查找敏感实体,例如姓名、电子邮件地址、电话号码、政府证件号码、卡号、出生日期和位置。它将这些实体替换为令牌,或还原原始值。Skyflow Vault 存储原始值,以便授权系统可以反向还原令牌。

Skyflow 网关配置会为每个工具决定三种保护模式中适用哪一种:Shield the tool、Shield the model 和 Shield the document。

模式 会发生什么 谁能看到真实数据 工作原理 典型用途
Shield the tool 敏感值在传出时从参数中剥离,并在返回时在结果中还原 智能体和用户,而不是工具 使用可逆的保险库令牌,因此工具回传的值会在智能体读取之前被还原 无需客户身份即可完成工作的 Web 搜索、数据增强和第三方 API
Shield the model 提示词、历史记录、文件和工具结果在模型读取之前完成去标识化。回答在返回时重新标识化 智能体和用户,而不是模型 模型调用通过网关的推理端点进行。在返回时,只还原为该次调用生成的令牌 客户对话、抓取的 Web 内容、跨区域或第三方模型
Shield the document 文件的签名 URL 被替换为指向去标识化副本的 URL 智能体侧无人可见 Skyflow Detect v2(预览版)获取文件、清理文件,并将副本存储在获批的区域。文件从不经过 Lambda,因此负载限制不会限制文件大小 Amazon S3、Box、Google Drive 中的案件记录、对账单、合同

在生产环境中有四个重要特性:

  • 无需更改智能体或工具。智能体像以前一样发现网关,并使用其 AWS Identity and Access Management(AWS IAM)角色对请求进行签名。为了保护模型,智能体将其模型客户端指向网关的推理端点。除此之外,拦截器对它们不可见。
  • 无需重新部署即可配置。 策略按服务器和按工具设定方向、实体类型和令牌类型(可逆的 vault 令牌或单向令牌)。它存放在 AWS Systems Manager Parameter Store 中,更改无需重新部署即可生效。
  • 故障关闭。 如果无法完成去标识化,则扣留该调用,而不是以明文发送。拦截器仅从允许列表中的位置获取文件,并且会阻止无法检查的流量,而不是静默放行。
  • 基于 AWS 构建的运维。 Skyflow API 密钥存放在 AWS Secrets Manager 中。每个决策都会记录到 Amazon CloudWatch,并配有用于告警的指标,且拦截器从不记录凭证或原始值。

架构

参考架构展示了每个组件所在的位置。其后的三个演练分别通过 Shield the tool 和 Shield the document 模式跟踪一次工具调用。

下图展示了拦截器如何位于 AgentCore Gateway 和您的工具之间。

Reference architecture with the Skyflow interceptor Lambda function between Amazon Bedrock AgentCore Gateway and the tools, reading its policy from Parameter Store and its API key from Secrets Manager

图 1:参考架构。编号步骤与以下流程对应。

流程:

  1. 代理通过 AgentCore Gateway 调用工具,并使用其 IAM 角色进行签名。
  2. REQUEST 拦截器将工具与策略进行匹配,并在需要时使用 Skyflow Detect 对参数进行去标识化。
  3. 网关调用工具,工具收到的是令牌而不是敏感值。
  4. RESPONSE 拦截器根据策略要求对结果进行重新标识、去标识化或替换文档 URL。
  5. 代理收到结果。

代理运行在 AgentCore runtime 上,这是 Amazon Bedrock AgentCore 的一项能力。在此流程之外,拦截器从 Parameter Store 读取其策略,从 Secrets Manager 读取其 Skyflow API 密钥,并将每个决策记录到 Amazon CloudWatch。它在获批区域调用 Skyflow Detect 和 Skyflow Vault 来对数据进行去标识化和重新标识。目标位于网关之外:一个第三方 Web 搜索 MCP 服务器、一个位于 Amazon S3 中的案件记录存储,以及一个位于 Amazon Bedrock 中的模型,网关通过推理目标访问该模型。对于模型调用,拦截器在 Amazon DynamoDB 中保留每次调用所生成令牌的短期记录,以便仅恢复这些令牌。该记录不包含原始值。对于文档,Skyflow Detect 通过预签名 URL 直接获取文件,因此文件字节永远不会经过 Lambda。

演练:Shield the tool

这是争议示例中的 Web 搜索,逐步说明。客户姓名以令牌形式离开,并以真实值返回,因此搜索提供商永远不会看到它,而分析师仍然可以看到。

Shield the tool flow where the customer name is replaced with a vault token before the search provider sees the query and restored before the agent reads the results

图 2:Shield the tool。在搜索提供商看到查询之前,客户姓名被替换为 vault 令牌,并在代理读取结果之前恢复。

演练:Shield the model

这是分析师要求代理起草给客户的回复。客户的姓名和电子邮件地址以令牌形式到达模型,草稿返回时真实值已恢复到位。

Shield the model flow where the interceptor de-identifies the prompt and conversation history before the model reads them and restores the minted tokens before the agent reads the answer

图 3:Shield the model。拦截器在模型读取提示和对话历史之前对其进行去标识化,并在代理读取答案之前恢复其为该调用生成的令牌。

演练:Shield the document

这是案件记录请求。拦截器从不处理文件本身。它检查预签名 URL 并将其交给 Skyflow Detect,后者返回指向干净副本的链接。

Shield the document flow where the interceptor checks the presigned URL against the allowlist and Skyflow Detect returns a link to a de-identified copy of the file

图 4:保护文档。拦截器根据允许列表和大小限制检查预签名 URL,Skyflow Detect 获取文件并进行去标识化处理,智能体收到指向干净副本的链接。

以下是存储在 Amazon S3 中的案件记录,旁边是智能体收到的副本:

Side-by-side comparison of the case note as stored in Amazon S3 with full customer details and the de-identified copy the agent receives with those values replaced by tokens

图 5:存储的案件记录(左)与智能体收到的去标识化副本(右)。

像 [NAME_AJbrIud] 这样的令牌是保管库令牌,授权用户可以通过 Skyflow 还原。像 [NAME_1] 这样的令牌是单向计数器,任何手段都无法还原。

以下视频端到端展示了“保护文档”功能。智能体请求争议案件记录,收到的是指向去标识化副本的链接,而非原始文件。

视频 1:“保护文档”功能实际运行。未使用 Skyflow 时,智能体读取原始案件记录。在网关上启用 Skyflow 后,它读取的是去标识化副本。

如何与 AgentCore 的其他部分配合

该拦截器补充了 AgentCore 和 Amazon Bedrock 已提供的控制措施:

  • Amazon Bedrock AgentCore 中的策略使用 Cedar 和 Dogwood 授权智能体可以执行的操作。它不止于决定某个主体能否调用某个工具。它可以根据智能体轨迹中的先前操作做出决策,控制对智能体和模型的访问,阻止特定参数被发送到特定工具,并使用 Amazon Bedrock Guardrails 检查通过网关的数据。Skyflow 与策略协同工作。当策略允许某次调用时,Skyflow 会将其中的敏感值替换为可逆令牌,使调用得以通过,而不会向工具或模型暴露真实数据。策略决定智能体可以做什么,Skyflow 则控制在其执行时如何处理敏感数据。
  • Amazon Bedrock Guardrails 负责模型交互中的内容安全和敏感信息脱敏。Skyflow 为同一网关增加了基于保管库的令牌化和文档去标识化。将二者结合使用,可为每次模型和工具调用提供分层保护。
  • AgentCore Identity(Amazon Bedrock AgentCore 的一项能力)和 AWS IAM 保持不变。该拦截器不增加任何需要智能体管理的凭证。
  • AgentCore Observability(Amazon Bedrock AgentCore 的一项能力)和 Amazon CloudWatch 将拦截器的决策与网关追踪记录一并记录。

部署解决方案

Skyflow 拦截器在 GitHub 上的 agentcore-skyflow 仓库中以 MIT 许可证开源。Skyflow 已在 AWS Marketplace 上提供。要将该拦截器添加到您已运行的网关:

  1. 在 AWS Marketplace 中订阅 Skyflow,创建保管库,并将其 API 密钥存储在 AWS Secrets Manager 中。
  2. 使用 AWS Cloud Development Kit(AWS CDK)从仓库部署拦截器堆栈。它会创建 Lambda 函数、其策略参数、用于模型调用记录的 DynamoDB 表,以及 Amazon CloudWatch 指标和告警。
  3. 在两个拦截点将拦截器附加到您的网关。仓库中的脚本会完成此操作,并授予网关角色仅调用该函数的权限。如果您使用 AWS CloudFormation 或 AWS CDK 管理网关,请改为在那里声明拦截器,以便后续堆栈更新保留它。
  4. 要保护模型,请向网关添加推理目标,并将智能体的模型客户端指向网关的推理端点。

该仓库还包含本文中完整的参考部署,包括 agent、gateway 及其 targets,你可以使用 AgentCore CLI(Amazon Bedrock AgentCore 的一项能力)进行部署。

有五种接入方式:

  • 现有网关。 将拦截器附加到你已运行的网关。Agent 和工具保持原样。
  • 新 agent。 从第一天起就将工具置于 AgentCore Gateway 之后。
  • AWS 之外的 MCP 服务器。 将它们作为网关 MCP 服务器目标前置,使其流量经过拦截器。
  • 文档存储。 对于返回签名 URL 的工具,将其位置添加到策略的允许列表中即可覆盖。
  • 模型调用。 添加推理目标,并将 agent 的模型调用通过网关发送。

Skyflow 提供多种 vault 部署模型和区域选择,以满足数据驻留要求。参见 Skyflow 部署模型。

注意事项

  • 格式。 文本和 Office 格式(TXT、JSON、CSV、XML、JSONL、DOCX、XLSX 和 PPTX)保留可逆的 vault 令牌。PDF 和图像会被完全去标识化,但会获得单向令牌,因此无法从这些文件中恢复原始值。
  • 可用性。 字符串去标识化和重新标识化已正式可用。通过签名 URL 进行的文档去标识化使用 Skyflow Detect v2,目前处于预览阶段。AgentCore Gateway 的可用性因 AWS 区域而异。部署前,请查看 Amazon Bedrock AgentCore 文档中的 支持的 AWS 区域。
  • 文档大小和延迟。 文档去标识化在设计上是有界的。拦截器在提交前检查文件大小,因此超过配置限制的文件会立即被拒绝,而不是超时。在限制范围内的文件会在 AgentCore Gateway 允许的连接窗口内完成。去标识化时间随文档大小而变化,因此请设置与你的文档匹配的大小限制。Skyflow Detect v2 处于预览阶段。在扩大推广之前,请在试点期间针对你自己的工作负载和区域验证延迟。

结论

Agent 的可信度取决于它所传输的数据。借助 AgentCore Gateway 和 Skyflow 拦截器,你可以在每次工具调用都会经过的唯一位置实施隐私控制。它双向工作,覆盖文档和文本,且无需更改 agent 代码。

从哪里开始

  1. 选择一个涉及客户数据并至少调用你账户之外一个工具的 agent 工作流。
  2. 列出绝不能离开的实体类型,以及允许查看它们的工具。
  3. 从 GitHub 仓库 部署拦截器,并将其附加到该工作流的网关。
  4. 从 Shield the tool 开始。然后为你的文档存储添加 Shield the document,并在 agent 的模型调用通过网关后添加 Shield the model。
  5. 在扩大推广之前,观察拦截器的 CloudWatch 指标一周。
  6. 如果你有进一步的问题,请参阅 Skyflow SDK 文档。

关于作者

Joe McCarron

Joe McCarron

Joe 是 Skyflow 的开发者关系负责人和产品负责人。在加入 Skyflow 领导平台产品管理和开发者关系之前,Joe 在 Zendesk 和 Apollo GraphQL 度过了过去十年,构建 API 和开发者平台。

Sindhu Jambunathan

Sindhu Jambunathan

Sindhu 是 AWS 的高级解决方案架构师。Sindhu 与 ISV 客户合作,构建可扩展、安全、经济高效的数据和生成式 AI 解决方案。

Sunita Koppar

Sunita Koppar

Sunita 是 AWS 生成式 AI 与机器学习领域的高级专家解决方案架构师,她与各行业的客户合作,设计解决方案、构建概念验证,并推动可衡量的业务成果。

来源:AWS Machine Learning Blog · aws.amazon.com