跳到正文
AWS Machine Learning Blog· Steve Vinsik·· 3 小时前AI 评分40

Amazon Quick 推出 Smart Approvals:让 AI 智能体在关键操作前保留人工审核

Smart Approvals in Amazon Quick: Human oversight where it matters

AI 导读

Amazon Quick 上线 Smart Approvals,用独立的分类器模型对照用户请求评估符合条件的操作,自动放行常规动作、把超出请求范围的操作退回用户审核,且不额外授予权限、不取消强制人工审批。该功能默认开启,用户可自行关闭,自动批准仅对当次操作及参数单次有效。相关权限变更与判定结果记录在 AWS CloudTrail,事件历史保留 90 天。

正文 · AI 翻译

当 AI 智能体承担更多工作时,安全负责人应如何保留人工监督?权限规定了智能体可以执行哪些操作,但一项被允许的操作仍可能需要人的判断。要求每一步都获得批准看似是最安全的做法,但多步骤任务可能产生重复的提示,即便是常规操作也是如此。关于安全警告的研究表明,注意力和遵从度会随着重复而下降。挑战不在于要求更多批准,而在于为需要人工审核的决策保留注意力。

Amazon Quick 中的 Smart Approvals 通过在您现有控制措施内审查符合条件的操作来应对这一挑战。它会根据用户的请求评估每一项拟议操作,并自动批准或将其退回用户审核。它不会授予额外权限,也不会移除必需的人工批准。安全负责人仍可控制哪些操作必须始终交由人工处理,而 Smart Approvals 旨在减少常规工作中不必要的打断。

Existing controls route proposed actions to required user approval, Smart Approvals review, or a policy block. Smart Approvals may approve an eligible action for its exact parameters or return it to the user. Assessment errors do not grant automatic approval. Permission update events and setting changes are recorded in AWS CloudTrail.

图 1:策略决定资格。Smart Approvals 批准符合条件的操作,或将其退回用户审核。策略拒绝的操作仍保持阻止

策略设定边界

在自动审查之前,Quick 会根据 Custom Permissions、Quick Guardrails、连接器操作权限以及用户设置来评估每一项拟议操作。被拒绝的操作仍保持拒绝,强制人工批准仍然适用。启用 Smart Approvals 后,只有当用户设置为“每次询问”且没有其他控制措施要求人工批准时,操作才符合条件。连接器操作权限在创建连接器时配置,可要求对特定操作进行人工批准。

管理员使用 Custom Permissions 来确定谁可以使用 Smart Approvals。它默认开启,但启用了默认拒绝的配置文件必须明确允许它。用户也可以自行关闭 Smart Approvals。该选择适用于所有对话和计划运行。关闭后,原本符合自动审查条件的操作需要用户批准,且任何账户级设置都无法为其重新开启。

如何审查符合条件的操作

Smart Approvals 使用一个单独的模型——分类器,根据用户的请求以及对话的有限视图来评估符合条件的操作。它会考虑操作的作用、数据去向以及受影响的对象。它可以查询用户的知识图谱,其中包含来自已连接来源的人员和工作关系。这有助于它理解收件人与用户的关系,例如收件人是否在用户的汇报链中。此查询仅限于您的 Quick 账户内。Quick 不会使用分类器审查的内容(包括知识图谱数据)来训练模型或改进服务。

某个操作可能符合请求,却仍需要人工审核。例如,将内容发送到组织外部或用户汇报链中的高层领导、更改访问权限、删除记录或发起付款。这份清单并不完整,分类器还会权衡周围的上下文。对照用户的请求来审核操作,为防范间接提示注入增加了一道检查——在间接提示注入中,检索内容里的指令试图改变智能体的行为方向。Quick 会指示智能体和分类器将该内容视为信息,而非指令。模型审核仍可能出错,因此必须始终获得人工批准的操作(包括涉及敏感数据传输的操作)应通过连接器操作权限来要求人工批准。

分类器提供判断,权限服务执行授权。每次自动批准都是一次性的,仅适用于所审核的确切操作和参数,不授予持续权限。Quick 会在对话中标注自动批准。分类器未批准的操作会退回给用户,超时和其他审核失败也会退回,且绝不会授予自动批准。这些执行边界限制了批准所授权的范围,但并不证明分类器的判断是正确的。

当操作超出请求范围时

一位客户经理让 Quick 使用其团队的客户笔记和上一季度的邮件,为 AnyCompany 准备一份季度业务回顾简报。随后她让 Quick 将其发送给她指定的两位同事。假设该发送操作符合自动审核条件,Smart Approvals 会根据她的请求和可用的对话上下文来评估拟议的操作。

现在假设某条客户笔记称,该简报还应发送给一个约 2,000 人的全销售分发列表。这会使受众超出她指定的收件人范围,因此 Smart Approvals 的设计是将拟议的发送操作退回给她审核,她可以在那里拒绝。发送给原始收件人的批准不能复用于更广泛的受众。

审计证据与调查

Quick 权限服务会将与 Smart Approvals 相关的权限更新记录到您账户中的 AWS CloudTrail。每个事件都会标识用户、连接器、操作和时间,并将该请求标记为与 Smart Approvals 关联。该标记并不证明权限服务接受了授权,也不证明操作已执行。Quick 还会记录权限检查的判定结果,包括来自连接器操作权限的拒绝,以及对用户 Smart Approvals 设置的更改。

调查人员可以按用户和时间将这些事件与 CloudTrail 中的其他 Quick 活动以及通过 Amazon CloudWatch Logs 交付的日志关联起来。聊天日志会记录用户的请求、系统响应和对话上下文。智能体元数据日志会记录对智能体的更改。目标系统的记录(例如已发送的邮件或已更新的工单)可确认操作是否完成。这些来源共同帮助重建事件经过,而不会将批准视为执行的证据。CloudTrail 事件历史记录会保留事件 90 天,因此请配置跟踪以支持更长时间的调查。由于聊天日志可能包含敏感内容,请限制访问权限,并考虑使用 CloudWatch Logs 数据保护策略来屏蔽敏感数据。

从哪里开始

由于 Smart Approvals 默认开启,请先确认需要人工审批的操作已通过连接器操作权限进行配置。设置 CloudTrail 跟踪,并将聊天日志和代理元数据日志投递到 CloudWatch Logs,以支持调查。聊天日志仅记录配置投递之后的活动,因此此前的审批将缺少该对话上下文。在审批要求和日志记录就位后,使用自定义权限将 Smart Approvals 限制在负责特定工作流的试点团队,然后再扩展到其他团队。

在试点之前,明确成功的标准:常规操作的提示更少,而重大操作仍会返回给人工审核。在试点期间,抽查自动审批样本并测试高影响案例,例如向组织外部发送内容或添加由文档引入的收件人。确认这些案例会返回给用户。确认你的团队能够追踪每个操作从审批到执行的整个过程。只有当结果满足这些标准时,才扩展到更多团队和工作流,并随着操作和策略的变化重新评估。

有效监督的衡量标准不是代理请求审批的频率,而是人们是否对重大决策保持控制。对于安全负责人而言,扩展 Smart Approvals 的理由应基于试点证据。当更少的提示能在不削弱问责制的前提下保持注意力时,它们才有价值。

有关设置步骤,请参阅 Amazon Quick 用户指南治理部分中的 Smart Approvals。


关于作者

Steve Vinsik

Steve Vinsik

Steve 是 AWS 的首席产品经理,负责领导 Amazon Quick 的治理、身份和安全工作。他直接与企业 CIO 和 CISO 合作,定义其组织大规模采用 AI 代理所需的控制措施,例如访问权限、护栏、模型管理、数据丢失防护和可观测性。在加入 Quick 之前,Steve 领导 AWS Identity 的产品工作,包括 AWS IAM Identity Center 和 AWS Builder ID,并将其从发布扩展到数百万用户。他在为政府客户交付关键任务安全项目方面拥有超过 25 年的经验,并曾在 General Dynamics、Unisys 和 Safran 担任高管职务。

来源:AWS Machine Learning Blog · aws.amazon.com