跳到正文
AWS Machine Learning Blog· Dr. Jens Kohl·· 5 小时前AI 评分58

宝马集团如何在数千名开发者间治理数百个智能体

How the BMW Group governs hundreds of agents across thousands of developers

AI 导读

宝马集团研发部门分享了在 12,500 多名开发者、约 5 亿行车载软件代码的规模下治理数百个智能体的实践。其方案以 MCP 工具、技能、流程三层组合架构为基础,把权限、策略即代码和合规校验放进 CI/CD 流水线,在部署前强制执行。文章还介绍了按步骤设定自主等级、集中式智能体注册表以及运行时漂移监控等做法。

正文 · AI 翻译

当数百个智能体服务于数千名开发者时,企业治理不能是事后考虑。

在宝马集团的研发部门,超过 12,500 名开发者致力于约 5 亿行车辆软件代码。这些软件由宝马互联车辆后端增强,这是一个基于云的系统,包含 1,300 多个微服务,为现场 2400 万辆汽车提供数字服务。在受监管行业中,(软件)质量、稳定性和治理合规的标准异常之高。

尽管研究、框架和指南如今有助于构建智能体,但以高效、可扩展的方式工业化和运营高质量智能体仍是一项重大挑战。

在大型组织中扩展智能体 AI 无法通过孤立的团队实现。它需要集体努力、本地驱动的实验以及跨企业的积极知识共享。这造成了一个根本性的治理两难:开发团队需要快速创新的自由,而企业必须强制执行安全、安保、可组合性和成本效率的标准。没有这种平衡,组织将面临 AI 孤岛碎片化和代价高昂的重复工作的风险。鉴于宝马集团全球分布着数百个构建智能体的团队,这是一个真正的挑战。

在本文中,我们详细介绍了支持宝马研发团队在不牺牲速度、质量或合规性的情况下大规模构建、治理和运营智能体的实践和模式。

解决方案

我们的前提很简单:构建从一开始就能协作的智能体。这需要一种架构,使多样性可组合、可治理、可自动化,而无需单一框架或工具链。

该架构的核心是智能体运行框架,这是一个包裹在大语言模型(LLM)外部的运行时层。它为自主运行提供执行循环、工具调度、内存管理和可观测性钩子。

正如 AWS Well-Architected Framework 标准化了云基础设施设计一样,智能体系统也需要等效的模式——从一开始就编码治理、可组合性和运营最佳实践的可复用蓝图。

我们围绕五个相互关联的实践来组织解决方案,这些实践源自自 2023 年以来在企业规模上构建和运营智能体系统的亲身经验。每个实践都被编纂为基础设施即代码(IaC),使采用可重复、可审计且可在团队间强制执行,同时不阻碍 DevOps 速度。

主动治理,而非事后治理

治理必须从一开始就是结构性的,并在整个生命周期中保持。我们主张有效智能体治理的三个特性:

框架无关且外部化: 身份验证、授权、速率限制和内容过滤等治理规则在集成层强制执行。这包括模型上下文协议(MCP)网关、中央智能体注册表和编排边界,而不是在单个智能体代码库内。这意味着治理能够在框架迁移、模型更换和团队重组中存续。

领域敏感且分级: 并非每个智能体操作都承担相同的风险:起草文档、更新客户记录和生产数据库写入需要非常不同级别的监督。我们通过每步自主级别实现分级信任:

  • 级别 0(Human-in-the-loop,人在回路中):每个操作都需要明确的人工批准。这是新智能体和高风险操作的起点。
  • 级别 1(Human-on-the-loop,人在回路上):智能体自主执行,但会将决策呈现出来供人工异步审查。适用于输入、输出和回滚选项均已明确的中等风险任务。
  • 级别 2(护栏内自主):智能体在严格定义的策略边界内独立运行,这些边界以确定性方式强制执行,而非通过提示指令(见下文)。仅用于低风险、已被充分理解且拥有经过验证的往绩的操作。

按步骤而非按智能体分配信任级别。单个工作流可以包含全部三个级别的步骤,因此团队可以从保守起步,随着信心建立在可衡量的评估数据而非假设之上,逐步提高自主性。

确定性强制执行:治理以确定性代码的形式运行在智能体推理循环之外。在实践中,这主要发生在 CI/CD 流水线中。权限检查、策略即代码规则和合规性验证会在智能体进入生产环境之前,在每次部署时进行把关。由于这些检查与智能体分开运行,智能体及其提示都无法覆盖它们。出口控制(收件人允许列表、出站机密扫描)有助于防止持有机密数据的智能体通过看似合法的调用泄露数据。

持续监测、验证和评估

智能体系统中的可观测性超越了传统的应用监控。真正的问题不再是服务是否返回了 HTTP 200 状态,而是智能体是否产生了忠实、符合策略的输出,以及如何通过可观测的执行轨迹来证明这一点。要回答这个问题,需要一个覆盖常见查询和边缘情况的真实基准数据集。该数据集从第一天起就用于评估,因此质量是依据具有代表性且受到适当治理的评估数据集来衡量的,而非合成提示。

这种基础设施无法事后加装,必须作为初始设计的一部分。持续集成和持续交付(CI/CD)流水线会强制执行这一点,因此缺少监测的智能体在评估运行之前就会验证失败。

我们建议从三个维度进行监测:

  • 意图追踪:捕获每次执行的可观测智能体轨迹(推理步骤、工具调用和上下文检索)。OpenTelemetry span 会创建从用户请求到最终输出的可查询血缘。
  • 将验证和评估作为 CI:对智能体的任何更改(提示编辑、添加工具、更换模型)都会触发流水线。验证首先运行,使用自动化回归测试覆盖智能体组件及其交互。由于大多数测试框架组件是确定性的,这些测试速度快且完全可自动化。评估随后运行,依据真实基准数据集对非确定性输出进行评分,并以质量阈值为门槛。这种顺序是刻意安排的:验证充当门禁,因此评估只在构建通过后运行。
  • 模型分层与路由遥测:当智能体在模型之间进行路由时,要记录路由决策及其依据,而不仅仅是结果。层级分配源自按任务类型的评估结果,不良结果会回流成为新的评估用例。

从聚焦开始,为组合而设计

对于分布式云系统,业界通过采用微服务或服务网格等架构模式,解决了端到端工作流的复杂性。智能体系统的演进需要遵循类似的轨迹,从单体、通用型智能体转向多个协作的专用智能体。

团队应先定义问题,再考虑智能体的功能。在编写任何编排逻辑之前,他们应产出五项具体工件:

  1. 清晰的范围定义:智能体应该做什么、不应该做什么。
  2. 交互模型:用户和其他智能体将如何调用它。
  3. 无歧义的工具定义:每个工具和参数都精确定义。
  4. 基准真值数据集:即上文所述的评估参考,在任何实现开始之前建立。
  5. 评估标准:衡量智能体的质量阈值和基准。

这种纪律可以防止我们观察到的最常见失败模式:承担过多职责的智能体会积累臃肿的提示词,从而降低准确性并增加延迟。

一旦单个智能体被良好地界定范围,就必须将其设计为可组合的构建块。因此,我们定义了一个三层组合层级:

  • MCP 工具是原子集成契约。每个工具封装单一能力(例如,一次 API 调用或一次数据库查询),不编码工作流假设。这是稳定、可复用的层。
  • 技能是 MCP 工具的捆绑式、领域特定的组合。例如,一个代码审查技能可能串联一个静态分析工具、一个风格检查工具和一个基于 LLM 的推理步骤。技能编码领域逻辑,但保持跨工作流的可移植性。
  • 流是技能的端到端编排,代表完整的业务流程(例如,整个 PR 审查流水线或从需求到部署的周期)。

每一层都在 CI/CD 流水线中独立验证。组件测试覆盖工具和技能,交互测试覆盖它们组合成流的过程。

这些层级通过开放标准连接:用于工具集成的 MCP 和 Agent Skills、用于智能体间通信的协议,以及用于跨由此产生的交互进行可观测性的 OpenTelemetry。

图 1 展示了三个层级如何相互构建,从底部的单个 MCP 工具到顶部的完整流。

Figure 1: Three-tier system to build composable agents

图 1:构建可组合智能体的三层系统

在学习中专业化

在生产环境中,即使范围界定良好的智能体也可能因实际使用偏离设计时的预期而崩溃:查询模式发生变化,工具选择逻辑陷入困境,性能不可预测地下降。

正确的应对方式是将复杂智能体分解为多个专用智能体,每个都具有更清晰的指令、更简单的工具集和更聚焦的推理。好处是具体的:

  • 独立演进:更新需求工程智能体不需要触及编码智能体。
  • 独立扩展:当范围和接口定义清晰时,单个智能体可以独立扩展,无需重新部署或调整整个系统的规模。
  • 范围最小化:单个智能体的故障或幻觉不会在整个工作流中级联扩散。
  • 成本节约:范围狭窄的智能体通常可以运行在更小的模型上,从而降低推理和托管成本。

复杂度可以从两个维度降低:

  • 智能体内部:将能力分解为技能,因为工具和少样本示例在每次调用时都会消耗上下文,同时降低准确性并增加成本。通过实证确定粒度:合并智能体很少选择的技能,拆分因输入不同而产生不同行为的技能。
  • 智能体之间:将超出智能体领域的工作通过 A2A 协议委托给专业对等体,而不是扩展当前智能体。智能体应增长能力,而非增长上下文。

关键在于,由于每个专业智能体仅访问其角色所需的数据和工具,这种架构有助于在设计上强制实施最小权限原则,这是受监管行业的合规要求。

然而,要实现这些优势,需要智能体能够相互发现并互操作。为防止出现AI 孤岛,我们维护一个集中式的智能体、工具和技能注册表。该注册表充当:

  • 发现机制:根据构建时存储的元数据编目可用的智能体、工具和技能。
  • 治理检查点:确认资产类型已获准用于生产,并维护审计追踪。
  • 安全检查点:在批准前应用自动化安全检查,例如提示注入及类似问题。
  • 去重保障:识别其他团队已维护的等效能力,以避免重复工作。此检查在注册时自动运行,在批准前标记重复项。

通过代码化实现规模化

从管理单个智能体转向治理智能体集群,要求将智能体架构代码化。使用 Terraform 或 AWS CloudFormation 等基础设施即代码框架,团队以与任何生产系统同等的严谨性来配置和管理智能体基础设施:

  • 细粒度最小权限角色:按智能体或工具划定范围。
  • CI/CD 流水线:跨账户和区域的一致、经过验证的部署,在测试失败或指标恶化时自动停止部署。
  • 策略即代码:规则(例如 AWS Config、Open Policy Agent)扫描已部署的智能体是否符合组织标准。

这三者均作为流水线门禁强制执行,在注册前验证,而非事后审计。

采用模式刻意采用自下而上与集中策展相结合。各个团队构建技能和 MCP 工具来解决其眼前问题。所有团队都可以通过注册表共享资产来做出贡献。中央团队在 CI 流水线中构建自动化治理检查以维护标准。为支持开发团队并促进左移,中央团队还提供治理即代码模块作为构建块。

这种平衡既避免了中央强制规定的架构,也避免了无人管理的实验。因此,当新的运营问题出现时,团队可以扩展现有模式,而不是重新设计其架构。

在整个智能体生命周期中落实最佳实践

架构模式和治理标准只有在嵌入团队构建和运行智能体(部署前及运行时)所使用的工作流中时才会有效。

部署前

治理在编写第一行编排逻辑之前就已开始。团队会获得参考架构模式和来自注册表的示例。这些预先验证的蓝图涵盖常见的智能体配置、工具集成模式和组合结构,可加速开发,同时编码经过验证的默认设置。在任何内容进入生产环境之前,标准化的 CI/CD 控制会强制执行这些实践。图 2 展示了参考流水线的四个阶段,从左到右依次运行。

Figure 2: Reference pattern for a four-phase agent deployment pipeline.

图 2:四阶段智能体部署流水线的参考模式。

图 2 中的阶段 1 运行快速、确定性的检查:供应链安全(仅限经批准的注册表)、组件和交互测试、评估库引用以及可观测性埋点。

阶段 2 并行运行安全和治理检查。静态分析扫描代码以发现问题,安全测试在隔离的预发布环境中探测智能体。流水线还会验证出口控制和最小权限。另外两项检查确认智能体声明的自主级别与其实际权限匹配,并且其配置通过策略即代码规则。治理智能体通过对照既定标准检查智能体并标记发现以供人工审查来加速审计,例如:

  • 范围蔓延: 超出最初定义的目的或权限运行。
  • 提示膨胀: 指令中不必要的复杂性。
  • 工具误用: 在预期用例之外调用工具。
  • 性能下降: 准确性、延迟或成本效益下降。

图 3:治理智能体工作流示例

此评估揭示团队可以立即应用的具体、可操作的措施,而不是抽象的建议。图 3 展示了治理智能体用于智能体成熟度评估的仪表板。治理智能体提供证据和可操作的建议,而负责任的人类拥有治理决策权。建议在应用前需要人工确认,以维护问责制的四眼原则。发现结果会更新注册表中智能体的治理状态,而完整详情则单独记录在中央知识库中,以便审计和追溯。

阶段 3 将智能体作为运行系统进行评估:真实基准评估门(根据设计时建立的基准对输出评分)和智能体性能(延迟、令牌消耗)。图 4 详细说明了指标、评分标准及其之间的关系。

Figure 4: Overview of evaluation metrics

图 4:评估指标概览

阶段 4 在注册智能体、其子智能体、工具和技能之前检查重复项。下表显示了注册表中每个智能体存储的元数据字段。

智能体元数据
Core data:
  • 唯一标识符
  • 名称
  • 描述
  • 版本
  • 业务负责人
  • IT 负责人
  • 能力:名称、描述
  • 功能列表:名称、描述、方向:提供/使用
  • 状态:计划 / 活跃 / 已弃用
  • 指向规范、agent card 或文档的链接
  • 托管模式:本地部署、云、云区域
Service level agreement data:
  • 目标可用性(百分比)
  • 目标 P95 响应时间(毫秒)
  • 支持时间 / 运营支持模式
Data governance flags:
  • 信息分类级别
  • 是否处理个人数据标志
  • 数据保留期限/策略
  • 是否记录请求和响应负载标志
  • PII 数据是否脱敏标志
  • 是否需要人工介入标志(对高影响/不可逆操作必需)

表 1:存储在注册表中的示例 agent 元数据

如果任一步骤失败或指标恶化,部署将停止并保留日志用于根因分析。如果所有检查通过,agent 会被打包并作为容器化工作负载部署,从而产生一致、可复现的部署。这可以防止未受治理的 agent 进入生产环境,自动化合规检查,并保持注册表准确。

运行时

在运行时,可观测性必须捕捉两类漂移。数据漂移表现为新的或不断变化的用户查询模式,或上游 API 的变化。模型漂移表现为错误率上升或工具选择准确率下降。当客户标记某个响应时,也会触发调查。针对漂移、分布偏移、评估分数下降或直接客户标记的告警会触发分阶段响应。这些事件会被记录并转交人工审查。此外,团队可以持续运行治理 agent,以标记漂移和运营问题,供负责团队调查。

总结

大规模构建和运营 agent 是一项工程学科,而不是实验练习。

有效的治理必须从一开始就是结构化的、外化的、领域敏感的,并以确定性方式强制执行。我们引入了三层组合层级(MCP 工具、技能和流程)作为可复用、可组合和可互操作 agent 的架构基础,并分解为专门化的 agent 以控制复杂性和范围。我们展示了每次 CI/CD 运行中的验证和评估如何使质量保证成为日常开发的一部分,以及将 agent 基础设施定义为代码如何让团队对集群中的每个 agent 应用相同的治理规则。最后,我们在 agent 生命周期中将这些模式付诸实践,从预先验证的参考架构和结构化流水线,到持续评估已部署 agent 的运行时治理 agent。

我们的经验表明,这些实践在几个方面带来了回报。可复用模板和共享基础设施降低了开发成本。得益于标准交互模型和自动化部署,团队还能更快地将 agent 投入生产。质量也得到了提升,因为流水线在生命周期的每个阶段都强制执行经过验证的模式。

扩展 agentic 治理是整个行业必须面对的任务。向 AI 和生成式 AI 支持的工作流自动化的转变,已经在重塑工程组织的运作方式。赢家将是那些超越实验阶段、建立起大规模治理自主 agent 网络纪律的组织。有了这些实践,BMW 工程师可以专注于解决真正重要的问题:打造终极驾驶机器。

要将这些理念应用到您自己的智能体,请从 AWS Well-Architected Framework 开始。本文将其作为可复用智能体蓝图模型。要了解 BMW 如何在其 AWS 环境中将治理编码化,请阅读 How BMW Group uses automation to achieve end-to-end compliance at scale on AWS。

展望与后续步骤

本文所述的模式与实践是基础,而非终点。我们正在多个方面积极扩展这些内容:

  • 改进架构指导:为构建智能体的团队发布关于架构权衡、组合模式和反模式的最佳实践指南。
  • 扩展基础设施即代码模板:以可用的 IaC 模块形式提供智能体蓝图,默认内置安全与治理标准。
  • 深化治理合规测试:增加用于验证治理合规性的 CI/CD 测试用例。
  • 自动化标准执行:在部署前和运行时阶段扩展自动化检查与托管合规扫描规则。
  • 扩展智能体 FinOps:治理模型与工具调用的合理规模配置。
  • 智能体用户指导:将所述模式集成到 BMW 的架构指导智能体 Archimedes 中,以提供上下文相关的架构建议。

致谢

作者谨向以下人员致谢(按字母顺序):Alexander Stark、Alexander Zimmer、Dr. Céline Laurent-Winter、Dominik Segl、Florian Seidel、Hugo Lerias、Dr. Lars Lewerenz、Mark Neumann、Ralf Bottesch、Ramona Weber、Satish Vasireddy、Samuel Voss、Xagarey-Louis Meyer。


关于作者

Dr. Jens Kohl

Dr. Jens Kohl

Jens 是 BMW Group 的技术领导者和构建者。他目前共同领导一项 BMW 研发范围的 AI 计划,为超过 12,000 名工程师优化软件 DevOps 工作流。他领导软件开发、机器学习和跨职能团队超过 10 年,为数百万辆汽车构建生产级 AI 解决方案,并优化服务于全球 2400 万辆 BMW 汽车的云后端。Jens 拥有慕尼黑工业大学计算机科学博士学位和硕士学位,并经常通过技术博客、演讲和会议分享他的工作。

Dr. Lukas Stappen

Dr. Lukas Stappen

Lukas 是 BMW Group 生成式 AI 领域的技术领导者和构建者。目前,他推动智能体软件开发,塑造用于在 BMW 软件工程师的软件开发生命周期中自动化工作的智能体工具和平台。他在 BMW Group Research 创立了 LLM Lab,并交付了首个基于 LLM 的车载语音助手,部署于超过 100,000 辆汽车中。Lukas 拥有奥格斯堡大学博士学位。

Dr. Martin Haubold

Dr. Martin Haubold

Martin 是 BMW Group 的企业架构师,专注于 AWS 和 Azure 上的 AI 治理与智能体架构。他专长于治理即代码、AI 安全以及在 AWS 上构建云原生应用。此前,他花了七年时间负责 BMW 自主运输机器人平台背后的云基础设施,使用 Terraform、Helm 和 Kafka 运行生产 Kubernetes 集群。Martin 拥有慕尼黑工业大学博士学位。

Dr. Veit Wenninger

Dr. Veit Wenninger

Veit 是 BMW 集团的企业架构师兼 Agentic Governance 经理,负责为公司未来的 IT 格局设定方向。在之前的职位中,他定义并扩展了 BMW 自动驾驶平台、BMW IoT 平台和全球车间连接平台。Veit 领导软件开发团队已超过 10 年。Veit 拥有慕尼黑工业大学的博士学位。

Brendan Jones

Brendan Jones

Brendan 是 AWS 的高级解决方案架构师,与 BMW 集团合作。他帮助汽车客户设计高度可扩展且富有弹性的云架构,以带来切实的业务影响。他的工作涵盖车联网平台、开发者生产力和成本优化。最近,他的工作范围已扩展到软件开发生命周期中的 agentic AI。Brendan 与 BMW 工程团队紧密合作,从早期架构决策一直到生产阶段。

Vadim Omeltchenko

Vadim Omeltchenko

Vadim 是一位 Sr. AI/ML 解决方案架构师,热衷于帮助 AWS 客户在云中创新。他之前的 IT 经验主要集中在一线实践。

Aishwarya Lakshmi Krishnan

Aishwarya Lakshmi Krishnan

Aishwarya 是 AWS Automotive 的首席客户解决方案经理,身处业务与技术的交汇点。她与客户紧密合作,将复杂的业务挑战转化为优雅的技术解决方案,并推动其落地见效。她对新兴技术和 AI 充满热情,同样热衷于拼搭 LEGO 和探索太空的一切,始终由好奇心和对事物运作原理的热爱所驱动。

来源:AWS Machine Learning Blog · aws.amazon.com