跳到正文
AWS Machine Learning Blog· Tala Qraitem·· 2 天前AI 评分40

Standard Bank Group 如何用 AWS 自动化生成式 AI 风险评估

How Standard Bank Group automates AI risk assessment for generative AI

AI 导读

Standard Bank Group 与 AWS Professional Services 合作,部署了一套自动化评估系统,按国际 AI 标准和银行自身政策为每个生成式 AI 用例打分并生成报告与仪表盘。

正文 · AI 翻译

本文由 AWS 的 Tala Qraitem 和 Standard Bank Group 的 Jörg Fischer 共同撰写

拥有 AI 政策是一回事。逐个用例证明 AI 系统遵循该政策则是另一回事。每新增一个生成式 AI 应用,就多了一个需要证明的系统。如今团队可以在几天内构建一个应用,但每个应用在面向客户或员工之前仍需获得风险委员会的批准。当批准取决于评审人员阅读文档并手动测试系统时,治理就成了流程中最慢的一环。

Standard Bank Group 选择将这一证明过程自动化。该银行与 AWS Professional Services 合作,部署了一套自动化评估方案,依据国际 AI 标准和银行自身政策对每个生成式 AI 用例进行评分。评估会生成报告和仪表板,展示哪些措施已经到位、哪些运行良好、哪些仍需缓解。本文介绍该评估如何在 AWS 上运行,以及 Standard Bank Group 从最初几次运行中学到了什么。

用现有框架治理 AI

Standard Bank Group 并不需要新的 AI 政策。与大多数大型银行一样,它已经有一套成熟的模型风险实践,涵盖可解释性和公平性等问题,以及一套变更风险流程,在上线前根据风险级别评估每个新用例。

生成式 AI 增加了复杂性,因为模型和工具每三到六个月就会变化,但每个用例仍需满足同样高的安全与合规标准。

“在 Standard Bank,这项评估展示了我们如何与 AWS 合作,将智能、自动化的风险管理融入我们的 AI 之旅,使我们能够加速实现有意义的业务价值,同时保持银行业所要求的信任与控制。我们相信,负责任的 AI 不是要放慢创新,而是要让创新能够自信地构建和扩展。”

— Jörg Fischer,Standard Bank Group 集团首席信息与 AI 官

目标是自动化证据收集和测试,然后将结果输入 Standard Bank Group 已有的审批关卡。审查和批准仍由风险委员会负责,但委员会现在基于一致的证据做出每项决策,这些证据以相同方式跨用例收集。

评估如何运作

图 1 展示了评估的各个组件如何在 Standard Bank Group 的 AWS 账户中协同工作,从受理到评估再到报告。

Architecture diagram of the automated AI risk assessment running in Standard Bank Group’s AWS account

图 1:Standard Bank Group AWS 账户中的评估流水线,从受理到评估再到报告

评估完全在 Standard Bank Group 自己的 AWS 账户中运行。文档、代码和测试结果保存在该账户的 Amazon Simple Storage Service(Amazon S3)存储桶中。AWS Well-Architected Tool 负责受理,AWS Step Functions 编排流水线,Amazon Bedrock 上的基础模型评估证据。它使用一种称为 LLM-as-a-judge 的技术,即由大语言模型依据既定标准检查证据。

借助 Amazon Bedrock,Standard Bank Group 无需脱离其在 AWS 上已有的管控体系,即可使用基础模型。该银行通过 AWS Identity and Access Management(IAM)控制对模型的访问,就像对其其他 AWS 工作负载所做的那样。Amazon Bedrock 不会与模型提供商共享该银行的提示词或模型输出,也不会将其用于训练模型。由于 Amazon Bedrock 通过一个 API 提供多种基础模型,团队只需更改配置设置即可切换到更新的评判模型,而无需重建流水线。

每项评估都经过四个步骤。在前两步中,预评估代理收集有关用例的证据,然后由流水线检查这些证据并直接测试应用程序。第三步依据控制项评估这些证据。第四步以标准、预定义的格式汇总结果,并将其交付给据此采取行动的人员。

第 1 步:预评估代理收集证据

Well-Architected Tool 中的自定义镜头包含约 40 个问题,每个问题对应一个风险事件,例如技术文档不完整或人工监督不足。交付团队不再需要从零开始填写。运行在 AWS Fargate 上的预评估代理会扫描用例的代码仓库和文档。它将相关文件映射到每个问题,并用答案和证据链接预填充该镜头。随后,交付团队审查这些答案,纠正任何错误,并补充代理未能找到的证据。

第 2 步:流水线检查工件并测试应用程序

流水线基于四类证据开展工作。

  • 系统文档,描述应用程序的设计、构建和评估方式。
  • 策略文档,规定角色、职责以及事件处理等流程。
  • 源代码和系统提示词,展示控制项的实现方式。
  • 对应用程序的实时调用,展示其在实际运行中的行为。

对于文档和代码,流水线检查每个工件是否包含其映射控制项所要求的内容。每个控制项都来自国际 AI 标准或框架,或来自 Standard Bank Group 自身的策略。例如,事件处理流程需要说明事件如何上报。

对于实时测试,流水线通过应用程序的 AWS Lambda 函数或 API 调用该应用程序。交付团队提供典型用户会提出的问题。流水线会加入一组内置的越狱尝试和离题问题,应用程序应拒绝回答这些问题。它还会以原始形式和改写形式多次发送同一提示词,并使用 Amazon Bedrock 上的嵌入模型检查答案在含义上是否保持一致。在团队提供预期答案的情况下,流水线会衡量响应与预期答案的匹配程度。每个响应都存储在 Amazon S3 中,以便审查人员准确查看应用程序生成的内容。

第 3 步:基于标准的 LLM-as-a-judge 评估

在这一步中,Amazon Bedrock 上的基础模型充当评判者。评估按模型原样使用,不进行微调或定制。(模型可用性因 AWS 区域而异,因此部署前请查看各区域支持的模型。)对于每个问题,模型检查工件和应用程序响应中是否出现特定证据,并返回“是”或“否”。

每项检查都对应国际 AI 管理、AI 风险或 AI 安全标准或框架中的一项控制措施。Standard Bank Group 还使用根据自身标准构建的评审问题对该视角进行了定制,使总数超过 300 项。这些检查涵盖下表中 AWS 负责任 AI 的八个维度:

维度 评估所关注的内容
真实性与稳健性 输出正确,即使面对意外或对抗性输入
隐私与安全 对数据和模型的适当收集、使用与保护
透明度 帮助利益相关方就其对 AI 系统的使用做出知情选择的信息
公平性 对不同利益相关群体影响的考量
安全性 防止有害输出和滥用
可控性 监控和引导系统行为的机制
治理 AI 供应链(包括提供商和部署方)中的最佳实践
可解释性 理解和评估系统输出的方式

每项风险都会获得一个可能性评分、模型未能找到所需证据的比例,以及一个固定的严重性等级(银行风险团队可对其进行调整)。这些因素共同产生从“极低”到“严重”的评级。每一处缺失的证据都对应一项具体的缓解措施,以及其所来源的标准或政策条款。风险官随后可以在向监管机构解释决策时,将任何发现追溯至其来源。图 2 展示了某一缺失证据如何经历这一过程,从证据请求到建议的修复方案。

A single missing piece of evidence traced to a scored finding and a recommended fix

图 2:如何将一项发现从证据追溯至修复方案

Standard Bank Group 通过两种方式保护和检查评估的输出。每一次 AI 模型交互都受到 Amazon Bedrock Guardrails 的保护,确保符合银行既有的安全和负责任 AI 标准。评估的模型调用会经过银行在其 AWS 账户中为其 AI 工作负载所实施的相同防护措施。这些防护栏会筛查有害内容以及操纵模型的企图。

该评估的设计还使其输出可以被检查。该流水线不是要求模型给出开放式的意见,而是提出范围狭窄的是非问题,每个问题的措辞都与特定控制措施相匹配。风险团队可以检查的固定公式会将这些答案转化为评分。每次评估都会运行多次,以衡量答案的一致性,任何不一致的发现都会在审查界面中被标记。每一项判断都会连同其背后的证据一起存储,以便审查人员和审计人员追溯其得出方式。

第 4 步:面向各类受众的报告

该流水线以标准格式汇总结果,并将其作为高管演示文稿、缓解措施清单、详细技术报告以及一个 Amazon CloudWatch 仪表板交付,该仪表板可跟踪各用例随时间变化的评分。在关卡决策之前,审查人员会在一个支持单点登录的自定义审查界面中确认发现。他们可以在其中添加用例、审查问题、以业务理由修改答案,并重写输出。

该评估会针对控制措施生成证据。它并不证明对任何法规的合规性,Standard Bank Group 仍对其自身的监管判定负责。

依据 Standard Bank Group 自身规则进行测试

国际标准为每个用例提供了共同基线,但银行的风险委员会依据自身政策来审批用例。问题工厂通过从内部文档中生成额外的评判问题来解决这一问题。Standard Bank Group 的风险团队利用它将内部政策转化为对每个用例运行的检查。

由于这些检查直接源自政策语言,政策变更便成为测试变更。后续每次评估都会自动应用更新后的规则,风险团队的手工返工极少。

“大多数组织把政策当作供人阅读的东西。Standard Bank Group 则把它当作可以运行的东西。当每条规则都变成针对实时系统运行的检查时,政策更新就不再是一份备忘录,而变成了一项测试。这从根本上改变了一家银行负责任地扩展 AI 的速度。”

— Sri Elaprolu,AWS 前沿 AI 科学与工程总监

内置于用例生命周期

该评估融入用例生命周期的三个阶段。在概念验证阶段,它是可选的,让团队尽早了解潜在差距。在构建阶段,它变为强制性的,审批关口将其结果作为正式证据。如今,该评估在 Standard Bank Group 的生产环境中运行,在用例上线前对其进行评估。在实时工作负载接入后,评估将按计划重新运行,或在代码或配置变更时重新运行,使证据在发布后很长时间内保持最新。该银行的团队已经通过一个中央系统自行触发评估,用例在该系统中从受理到评估在单一工作流中流转。

这对金融机构意味着什么

在 Standard Bank Group,该评估将传统上需要两周的人工审查缩短为约两小时生成的综合风险报告,并已在六项评估中得到验证。它还在整改后将用例风险评分提升了 14%。这加强了负责任 AI 治理,减少了合规瓶颈,并缩短了从评估到生产的路径。

这种方法可使参与 AI 用例审批的三类群体受益:

  • 风险与合规负责人获得每个用例格式相同的证据,可追溯至已发布标准或内部政策条款。从你已经在运行的框架出发,正如 Standard Bank Group 利用其现有风险流程和审批关口所做的那样。
  • 交付团队在概念验证阶段就了解需要修复什么,此时变更成本最低,而不是在审批关口遭遇拒绝。
  • 高管可以在不按同等速度增加审查工作量的情况下扩大 AI 组合。

“AI 在企业范围内的大规模采用需要信任,既包括内部信任,也包括客户的信任。这项评估在使所有产品团队能够证明其正在构建符合自身及行业最佳实践的企业级解决方案方面,正发挥着关键作用。”

— Duncan Macdonald,Standard Bank Group 首席技术官

从审批关口到持续保障

银行设计审批关口时,针对的是一年只变更数次的系统。生成式 AI 应用则随着每次提示更新、模型版本和新数据源而变化。随着它们承担更多自主任务,需要证据的决策数量持续增长。增加审查人员无法跟上这种变化速度。

Standard Bank Group 的做法指向一种不同的运营模式。当政策变成测试、证据被自动收集时,治理便从交付末尾的检查点转移到系统本身之中。组合中的每个 AI 应用都可以携带一份当前、可审计的记录,说明其如何符合银行的标准,并在其代码或配置发生变化时刷新。风险团队将时间花在判断决策和政策设计上,银行也能向监管机构展示其用于自身决策的同一套证据。

同样的基础可以进一步延伸。持续重新评估使证据在发布后与不断变化的代码库保持一致。新法规可以一次性编码为检查项,并应用于每个用例。汇总评分让董事会获得企业范围的 AI 风险视图,而不是一堆单独的审查。

对于任何规模化应用 AI 的机构来说,值得一问的是:其有多少政策曾经针对运行中的系统进行过测试。要了解 AWS Professional Services 如何帮助您的组织自动化 AI 风险评估,请联系您的 AWS 客户团队。要了解更多关于在 AWS 上负责任地构建 AI 的信息,请访问 Responsible AI on AWS。


关于作者

Tala Qraitem

Tala Qraitem

Tala 是 AWS Professional Services 的高级安全顾问。他们通过将法规和内部政策转化为风险团队可以测试的控制措施,帮助金融机构安全地将 AI 系统投入生产。Tala 领导了与 Standard Bank Group 合作的负责任 AI 工作流,并且是本文所述评估能力的安全负责人。他们与银行的风险和交付团队合作,将评估构建到银行批准新 AI 用例的方式中。

Jörg Fischer

Jörg Fischer

Jörg 是 Standard Bank Group 的集团首席信息与 AI 官,同时负责覆盖 20 个国家的集团房地产服务。自 1997 年加入该银行以来,他曾在财务、技术、运营和共享服务领域担任高级职务。他领导过包括实施新核心银行系统和整合处理中心在内的变革项目。作为特许会计师(SA),Jörg 在 2023 年南非 CIO 大奖中荣获年度 CIO。

来源:AWS Machine Learning Blog · aws.amazon.com