跳到正文
Databricks Blog·· 8 小时前AI 评分34

Databricks 提出受监管行业四种 AI 架构模式

Four AI Architecture Patterns for Regulated Industries

AI 导读

Databricks 前向部署工程师总结出受监管企业落地 AI 智能体的四种架构模式:确定性控制加智能体推理、智能体执行加确定性裁判、智能体推理加人类决策权,以及第四种模式。核心判断标准是结果是否可复现、错误是否可逆:对账等场景由确定性控制判定 PASS/FAIL,智能体只负责解释失败原因;代码迁移等场景由确定性裁判验证智能体产出。

正文 · AI 翻译

企业 AI 无法取代所有确定性控制。这四种模式帮助架构师判断智能体可以在哪里推理、行动,并始终受控于控制机制或人类权威。

企业 AI 背后的架构问题

企业正在将智能体加入建立在固定规则和可重复流程之上的系统。智能体能够推理复杂问题,但企业系统——尤其是在受监管行业——必须保持可控且可审计。问题不在于选择哪一个,而在于如何让它们协同工作。

我们撰写本系列文章,是因为客户向我们提出同样的问题:世界各地的企业如何应对与我们相似的约束?企业 AI 落地的现实情况如何?其他组织如何应对这些细微差别?当需求模糊、复杂且高度特定于机构时,Databricks 如何帮助解决?

作为前瞻部署工程师,我们工作在这一边界上。我们将模糊的业务问题转化为可投入生产的系统。虽然具体实现因机构而异,且我们无法披露具体实现细节,但我们可以讨论通用模式与实践。随着智能体成为大型企业系统的一部分,有两个问题反复出现:

  • 确定性必须保留在何处(例如,当操作不可逆或错误会带来不对称风险时)?
  • 智能体可以在何处被授予权限,尤其是当操作可逆或补救成本较低时?

答案并非千篇一律。在我们于现场构建和现代化的系统中,四种模式正在浮现。本系列第一篇文章介绍该框架。接下来四篇文章将展示每种模式在实践中如何运作。

image2.png
图 1. 在受监管企业系统中部署智能体的决策框架。

模式 1:确定性控制与智能体推理

当结果必须严格确定且可复现,或当错误不可逆且补救成本高昂时,使用此模式。这里的确定性是指结果可以在一个显式、版本化的契约下复现,该契约同时记录数据、规则、容差、配置和执行上下文。

金融机构拥有大量控制措施。对账就是一个很好的例子。该控制必须计算余额、应用经批准的规则,并产生可复现的通过或失败结果。智能体不能重新解释容差,也不能将自己的解释变成通过的控制。当对账失败时,智能体可以收集证据、检查血缘和批处理状态、将差异与先前事件比较、测试一组有界的原因,并建议下一步应该做什么。确定性控制仍然决定对账是否通过。智能体帮助解释失败原因。

智能体可以调查控制。它不能成为控制。

此模式也适用于监管计算、策略执行、数据质量门禁和系统完整性检查——任何结果必须精确、可复现且可审计的场景。

模式 2:智能体执行与确定性裁判

当可能有多个有效答案,但结果可以被客观测试时,使用此模式。

遗留系统迁移或现代化就是一个很好的例子。智能体可以分析现有的工作负载并生成目标实现。它每次生成的实现可能并不完全相同。这未必是个问题。关键在于结果是否正确。

确定性评判器可以测试代码能否编译、模式是否符合、数据是否对账、控制总计是否匹配、治理要求是否满足,以及性能是否达到目标。如果结果不合格,智能体会收到证据、诊断问题、修正其工作,并再次运行验证。

通过该评判器证明候选方案满足了已批准的验收契约。它并不能证明该契约覆盖了所有生产行为。测试覆盖率、生产形态的边界用例以及定期评审仍然很重要。

当你能确定性地评估智能体的输出时,就不要让智能体本身变成确定性的。

验证器不仅是一种控制手段。它是让智能体得以改进其结果的反馈回路。这一模式适用于迁移、代码生成、转换、测试和修复。

模式 3:智能体推理与人类权威

当答案需要判断、且无法通过确定性测试证明其正确时,使用这一模式。

金融犯罪调查就是一个例子。智能体可以关联交易、文档、政策、关系和历史模式。它可以汇集证据、识别可能的解释、揭示尚未解决的问题,并建议处置方案。当决策对个人有重大影响时,或者当你必须向监管机构、审计师、法院或受影响个人说明结果时,这通常也是监管所要求的。

但建议不等于决策。当结果具有重大影响、且不存在确定性的方式来确立正确性时,权威必须留在可问责的人手中。

人工审核应位于决策边界,而不是嵌入每一个步骤之中。

智能体的推理通常还必须可解释。每一条建议都应能追溯到其背后的证据、来源和工具。这使调查人员能够质疑其逻辑,也使审计师或监管机构能够重建智能体得出建议的过程。当监管赋予受影响个人获得解释的权利时,该解释必须针对具体决策。它涵盖主要因素、智能体的角色以及人的角色。“模型标记了它”是不够的。调查人员需记录最终裁定的理由,包括对智能体意见的任何推翻。

智能体减少了调查工作量,并提高了所呈现证据的一致性。调查人员保留对最终决策的责任,该决策可能是主观的、微妙的,而非确定性的。

模式 4:有界自主的智能体执行

当智能体需要采取行动、但只能在明确的操作边界内行动时,使用这一模式。

设想一个治理智能模块,它管理对受治理企业数据的访问。用户描述自己需要什么数据、为什么需要以及需要多长时间。智能体解读该请求,识别合适的数据产品,确定所需的最小访问权限,并收集相关的身份、策略、所有权、分类、血缘和使用上下文信息。

对每一个标准请求都要求人工审批会造成延迟,却未必能降低风险。赋予智能体不受限制的授权来授予访问权限,则会形成不可接受的控制缺口。答案是有限自主。

运行边界定义了:

  • 哪些数据产品和访问级别有资格获得直通式处理;
  • 哪些身份、目的、地理位置、法律实体、驻留地和职责分离规则必须通过;
  • 可授予的最长时限和最低访问级别;
  • 智能体可以发起哪些已获批准的 Unity Catalog 操作;
  • 哪些敏感、模糊或例外请求需要人工审批;以及
  • 访问如何被监控、到期、撤销并记录以供审计。

在该边界内,智能体可以解释请求、汇集证据、选择已获批准的工作流,并发起有时限的授权。确定性策略服务会在 Unity Catalog 强制执行授权之前验证每一项必需条件。

不要试图约束每一个决策。要约束运行边界。在该边界内跨验证周期实施多智能体评审框架,还可以通过自动化的多视角安全检查来补充人工监督。

如果请求超出该边界——例如,因为它涉及敏感数据、缺失属性、冲突策略、过度权限或职责分离例外——系统会阻止直通执行,并将其路由给相应的数据所有者、数据管理员或风险审查人员。

现有系统如何为智能体架构提供动力

Databricks 平台能力

Databricks 为这四种模式提供受治理的基础。Omnigent 可以组合智能体和智能体运行框架,而不会让任何单一智能体成为架构本身。Unity Gateway 治理对模型、工具、MCP 服务器和外部 API 的访问。Unity Catalog 治理企业数据,并强制执行已获批准的访问,包括驻留地和跨境传输规则。安全连接可触达本地、云和 SaaS 系统,而不会绕过这些控制点。MLflow 保留追踪和评估证据,这些证据同时也可作为面向监管机构的审计记录。请参阅附图,了解参考架构,其中展示了智能体调用如何流经受治理的控制点,到达跨本地、云和受监管司法辖区的客户系统。

image1.png

传统现代化改变的是技术运行的位置和方式。AI 转型改变的是执行模型本身。过去主要遵循预定义指令的系统,现在可以解释、推理、生成并采取行动。

这并不意味着要抛弃企业花费数十年构建的确定性系统。在许多情况下,这些系统会成为智能体架构的基础:

  • 策略引擎成为控制平面。
  • 验证框架成为确定性评判器。
  • 验收标准成为智能体评估。
  • 运行限制成为自主边界。
  • 受治理的数据、血缘和审计追踪提供智能体所需的上下文和证据。

机会不仅仅是用智能体替换遗留系统。在全部四种模式中,使智能体可部署的是它所立足的基础:受治理的企业数据、可验证的血缘、强制执行的访问控制、可衡量的质量,以及可复现的审计追踪。

这在受监管行业中尤为重要,因为薄弱的架构边界可能导致控制失效、处罚或监管承诺延迟。设计良好的边界可以减少调查工作量、缩短现代化周期,并实现高价值自动化,而不会将不当权限转移给模型。

AI 原生架构的核心在于决定确定性、智能和权限应分别位于何处。

先选择模式,再选择智能体

在设计智能体解决方案之前,先问三个问题:

  • 智能体可以推理什么?
  • 可以允许智能体做什么?
  • 哪些必须保留在智能体权限之外?

这些答案决定了解决方案需要确定性控制、确定性裁判、人类决策边界,还是明确的操作边界。模型是在这一架构决策之后才出现的——而不是之前。

这些模式并非互斥。生产系统可能对某一决策使用确定性控制,对例外情况使用人类权限,对已批准的修复使用有界自主。关键在于让每个边界都明确。

随着系统在生产中逐渐成熟,这些边界可以调整:确定性裁判利用积累的使用数据完善其评估规则,而人类权限边界可以随着反馈确立对智能体推理的信心而移动。

继续阅读本系列

接下来四篇文章将把每种模式从架构推进到实现:

第 2 部分:确定性控制与智能体推理
智能体如何在不削弱执行力度或可审计性的前提下,调查确定性财务控制周围的例外情况。

第 3 部分:智能体执行与确定性裁判
智能体如何生成并修正实现,同时由确定性验证决定结果是否可接受。

第 4 部分:智能体推理与人类权限
Lakewatch 如何将监控信号、银行数据和专家网络情报整合为可审查的证据包,同时由负责任调查员保留重大决策权。

第 5 部分:有界自主的智能体执行
一份设计蓝图,让智能体在策略定义的操作边界内协调受治理的数据访问,并具备确定性授权、Unity Catalog 强制执行以及由人类解决重大例外。

使用四模式框架对您的用例进行分类,然后继续阅读与您的系统所需边界相匹配的实现文章。对于跨越多种模式的受监管用例,请联系您的 Databricks 客户团队或 FDE 参与经理,在选择智能体架构之前梳理控制、推理和权限边界。

关于作者

Molly Nagamuthu 是 Databricks 的首席前向部署工程师。她与企业合作开展复杂的数据和 AI 转型计划,尤其是与全球银行合作,在这些银行中,现代化必须与治理、控制和运营严谨性共存。

在本系列中,Molly 和其他前向部署工程师分享了来自现场工作的实现模式,这些模式随着企业从确定性架构迈向 AI 原生系统而涌现。

来源:Databricks Blog · databricks.com