返回全部资讯
AWS Machine Learning BlogT1·智能体与协同

宝马集团如何治理数千开发者使用的数百个智能体

作者:Dr. Jens Kohl原标题:How the BMW Group governs hundreds of agents across thousands of developers
62AI 研判分

宝马集团研发部门在 12500 名开发者、约 5 亿行车载代码与 1300 余个微服务的规模下,分享了企业级智能体治理实践。其核心矛盾在于开发团队的快速创新自由与企业对安全、合规、可组合性和成本效率的统一管控之间的平衡,否则将形成碎片化的 AI 孤岛。

报道正文

本文目录12 个章节

当数百个 agent 服务于数千名开发者时,企业治理绝不能是事后才考虑的事情。

在宝马集团(BMW Group)的研发部门,超过 12,500 名开发者致力于约 5 亿行车辆软件代码的开发。这些软件由 BMW Connected Vehicle 后端提供增强支持,这是一个基于云的系统,包含 1,300 多个微服务,为现场 2,400 万辆汽车提供数字服务。在受监管的行业中,(软件)质量、稳定性和治理合规的标准异常之高。

尽管如今已有各种研究、框架和指南来帮助构建 agent,但以高效、可扩展的方式将高质量 agent 工业化并投入运营,仍然是一项重大挑战。

在大型组织中规模化推广 agentic AI,无法仅靠孤立的团队实现。它需要集体努力、本地驱动的实验以及跨企业的积极知识共享。这带来了一个根本性的治理两难困境:开发团队需要快速创新的自由,而企业必须强制执行安全、安保、可组合性和成本效益方面的标准。如果缺乏这种平衡,组织将面临 AI 孤岛碎片化格局和代价高昂的重复工作的风险。考虑到宝马集团全球分布着数百个构建 agent 的团队,这是一个真实的挑战。

在本文中,我们详细介绍了支持宝马研发团队在不牺牲速度、质量或合规性的前提下大规模构建、治理和运营 agent 的实践与模式。

解决方案

我们的前提很简单:构建从一开始就能协作的 agent。这需要一种架构,使多样性可组合、可治理、可自动化,而不需要依赖单一框架或工具链。

这一架构的核心是 agent harness,即包裹在大语言模型(LLM)外围的运行时层。它提供执行循环、工具调度、内存管理和可观测性钩子,以支持自主运行。

正如 AWS Well-Architected Framework 标准化了云基础设施设计一样,agentic 系统也需要同等的模式——即可复用的蓝图,从一开始就编码治理、可组合性和运营最佳实践。

我们的解决方案围绕五项相互关联的实践展开,这些实践源自 2023 年以来在企业规模下构建和运营智能体系统的亲身经验。每项实践都被固化为基础设施即代码(IaC),从而使采用过程可重复、可审计,并能在各团队间强制执行,同时不阻碍 DevOps 的推进速度。

主动治理,而非事后补救

治理必须从一开始就具备结构性,并在整个生命周期中持续维护。我们主张有效的智能体治理应具备三个特性:

框架无关且外部化: 身份验证、授权、速率限制和内容过滤等治理规则在集成层强制执行。这包括模型上下文协议(MCP)网关、中央智能体注册表以及编排边界,而非在单个智能体的代码库内部实施。这意味着治理能够在框架迁移、模型替换和团队重组后依然存续。

领域敏感且分级: 并非每个智能体操作都承载相同的风险:起草文档、更新客户记录和生产数据库写入需要截然不同级别的监督。我们通过逐步自主级别来实现分级信任:

  • 级别 0(人在回路中): 每个操作都需要明确的人工批准。这是新智能体和高风险操作的起点。
  • 级别 1(人在回路上): 智能体自主执行,但将决策呈现出来供人工异步审查。适用于具有明确输入、输出和回滚选项的中等风险任务。
  • 级别 2(护栏内自主): 智能体在严格定义的策略边界内独立运行,这些边界以确定性方式强制执行,而非通过提示指令(见下文)。保留给具有经过验证的跟踪记录的低风险、充分理解的操作。

按步骤而非按智能体分配信任级别。单个工作流可以包含所有三个级别的步骤,因此团队可以从保守开始,随着信心的建立逐步增加自主性,并以可衡量的评估数据为依据,而非假设。

确定性强制执行: 治理以确定性代码的形式运行在智能体推理循环之外。在实践中,这主要发生在 CI/CD 流水线中。权限检查、策略即代码规则和合规性验证会在每次部署时进行把关,且发生在智能体进入生产环境之前。由于这些检查独立于智能体运行,智能体及其提示词都无法覆盖它们。出站控制(收件人白名单、出站机密扫描)有助于防止持有机密数据的智能体通过看似合法的调用泄露数据。

持续埋点、验证与评估

智能体系统中的可观测性超越了传统的应用监控。真正的问题不再是某个服务是否返回了 HTTP 200 状态码,而是智能体是否产出了忠实、符合策略的输出,以及如何通过可观测的执行轨迹来证明这一点。要回答这个问题,需要一个覆盖常见查询和边缘情况的真实基准数据集。该数据集从第一天起就用于评估,因此质量是依据具有代表性且经过适当治理的评估数据集来衡量的,而非合成提示词。

这套基础设施无法事后补装,必须作为初始设计的一部分。持续集成与持续交付(CI/CD)流水线会强制执行这一点,因此缺少埋点的智能体在评估运行之前就会验证失败。

我们建议从三个维度进行埋点:

  • 意图追踪: 捕获每次执行中可观测的智能体轨迹(推理步骤、工具调用和上下文检索)。OpenTelemetry span 会创建一条从用户请求到最终输出的可查询血缘关系。
  • 将验证与评估作为 CI: 对智能体的任何更改(提示词编辑、新增工具、模型替换)都会触发流水线。验证首先运行,使用自动化回归测试覆盖智能体各组件及其交互。由于大多数 harness 组件是确定性的,这些测试速度快且完全可自动化。评估随后运行,针对真实基准数据集对非确定性输出进行评分,并以质量阈值为门控。这种顺序是刻意设计的:验证充当门禁,因此评估只在构建通过后运行。
  • 模型分层与路由遥测: 当智能体在模型之间路由时,捕获路由决策及其依据,而不仅仅是结果。层级分配根据各任务类型的评估结果推导,表现不佳的结果会回流为新的评估用例。

从聚焦开始,为组合而设计

对于分布式云系统,业界通过采用微服务或服务网格等架构模式,解决了端到端工作流的复杂性问题。智能体系统的演进需要遵循类似的轨迹,从单体、通用型智能体转向多个协作的专用智能体。

团队应在考虑智能体功能之前先定义问题。在编写任何编排逻辑之前,他们应产出五项具体工件:

  1. 清晰的范围定义: 智能体应该做什么、不应该做什么。
  2. 交互模型:用户和其他智能体将如何调用它。
  3. 无歧义的工具定义: 每个工具和参数都精确定义。
  4. 真实基准数据集:上述评估参考,在任何实现开始之前建立。
  5. 评估标准: 智能体将被衡量所依据的质量阈值和基准。

这种纪律可以防止我们观察到的最常见失败模式:承担过多职责的智能体会积累臃肿的提示词,从而降低准确性并增加延迟。

一旦单个智能体被良好地界定范围,就必须将其设计为可组合的构建块。因此,我们定义了一个三层组合层级:

  • MCP 工具是原子化的集成契约。每个工具封装单一能力(例如一次 API 调用或一次数据库查询),不编码任何工作流假设。这是稳定、可复用的层级。
  • 技能(Skills)是 MCP 工具的打包式、领域特定的组合。例如,一个代码审查技能可能串联静态分析工具、风格检查工具和基于 LLM 的推理步骤。技能编码了领域逻辑,但可跨工作流移植。
  • 流程(Flows)是技能的端到端编排,代表完整的业务流程(例如,完整的 PR 审查流水线或从需求到部署的周期)。

每个层级都在 CI/CD 流水线中独立验证。组件测试覆盖工具和技能,交互测试覆盖它们组合成流程的过程。

这些层级通过开放标准连接:用于工具集成的 MCP 和 Agent Skills、用于智能体间通信的协议,以及用于跨由此产生的交互进行可观测性的 OpenTelemetry。

图 1 展示了这三个层级如何层层构建,从底部的单个 MCP 工具到顶部的完整流程。

图 1:用于构建可组合智能体的三层系统

图 1:用于构建可组合智能体的三层系统

边学习边专业化

在生产环境中,即便是范围界定良好的智能体,也可能随着实际使用情况偏离设计时的预期而失效:查询模式发生变化、工具选择逻辑难以应对、性能出现不可预测的下降。

正确的应对方式是将复杂的智能体分解为多个专业化的智能体,每个智能体都有更清晰的指令、更简单的工具集和更聚焦的推理。其收益是具体的:

  • 独立演进: 更新需求工程智能体无需改动编码智能体。
  • 独立扩展:当范围和接口定义清晰时,单个智能体可以独立扩展,而无需重新部署或调整整个系统的规模。
  • 最小化影响范围: 一个智能体的故障或幻觉不会级联到整个工作流。
  • 节省成本: 范围狭窄的智能体通常可以运行在更小的模型上,从而降低推理和托管成本。

可以从两个维度降低复杂性:

  • 在单个 agent 内部: 将能力分解为技能,因为工具和少样本示例在每次调用时都会消耗上下文,同时降低准确性并增加成本。通过实证确定粒度:合并 agent 很少选择的技能,拆分因输入不同而产生不同行为的技能。
  • 跨 agent: 将超出 agent 领域的工作通过 A2A 协议委托给专门的同级 agent,而不是扩展当前 agent。agent 应该在能力上增长,而不是在上下文上增长。

关键在于,由于每个专门的 agent 只能访问其角色所需的数据和工具,这种架构有助于在设计上实现最小权限,这是受监管行业的一项合规要求。

然而,要实现这些优势,需要 agent 能够相互发现和互操作。为了防止出现 AI 孤岛,我们维护一个 agent、工具和技能的集中式注册表。该注册表充当:

  • 发现机制: 根据构建期间存储的元数据,对可用的 agent、工具和技能进行编目。
  • 治理检查点: 确认资产类型获批用于生产环境,并维护审计追踪。
  • 安全检查点: 在批准前应用自动化安全检查,例如提示注入及类似问题。
  • 去重保障: 识别其他团队已维护的等效能力,以避免重复工作。此检查在注册时自动运行,在批准前标记重复项。

通过代码化实现规模化

从管理单个 agent 转向治理 agent 集群,要求将 agent 架构代码化。使用 Terraform 或 AWS CloudFormation 等基础设施即代码框架,团队以与任何生产系统同等的严谨性来配置和管理 agent 基础设施:

  • 细粒度最小权限角色: 按 agent 或工具划定范围。
  • CI/CD 流水线:跨账户和区域的一致、经过验证的部署,在测试失败或指标恶化时自动停止部署。
  • 策略即代码:规则(例如 AWS Config、Open Policy Agent)扫描已部署的 agent 是否符合组织标准。

这三者都作为流水线门禁强制执行,在注册前进行验证,而不是事后审计。

这种采用模式刻意采用自下而上、辅以集中式治理的方式。各个团队构建技能和 MCP 工具来解决眼前的实际问题。所有团队都可以通过注册表共享自己的资产来做出贡献。一个中央团队在 CI 流水线中构建自动化的治理检查,以维护各项标准。为了支持开发团队并促进左移,该中央团队还以治理即代码模块的形式提供构建块。

这种平衡既避免了由中央强制规定的架构,也避免了缺乏管理的实验。因此,当出现新的运维关注点时,团队可以扩展现有模式,而不必重新设计其架构。

在智能体生命周期中落实最佳实践

架构模式和治理标准只有在被嵌入到团队构建和运行智能体(部署前及运行时)所使用的工作流中时,才能真正发挥作用。

部署之前

治理在编写第一行编排逻辑之前就已经开始。团队会获得参考架构模式以及取自注册表的示例。这些经过预先验证的蓝图涵盖了常见的智能体配置、工具集成模式和组合结构,既能加速开发,又能将经过验证的默认配置固化下来。在任何内容进入生产环境之前,标准化的 CI/CD 控制会强制执行这些实践。图 2 展示了一条参考流水线的四个阶段,它们按从左到右的顺序依次运行。

图 2:四阶段智能体部署流水线的参考模式。

图 2:四阶段智能体部署流水线的参考模式。

图 2 中的阶段 1 运行快速、确定性的检查:供应链安全(仅限经批准的注册表)、组件与交互测试、评估库引用以及可观测性埋点。

阶段 2 并行执行安全与治理检查。静态分析扫描代码以发现问题,安全测试则在隔离的预发布环境中对智能体进行探测。流水线还会验证出口控制与最小权限。另外两项检查确认智能体声明的自主级别与其实际权限相符,以及其配置通过策略即代码(policy-as-code)规则。治理智能体通过对照既定标准检查智能体并将发现的问题标记以供人工审查,从而加速审计,例如:

  • 范围蔓延: 超出最初定义的目的或权限运行。
  • 提示膨胀: 指令中存在不必要的复杂性。
  • 工具误用: 在预期用例之外调用工具。
  • 性能下降: 准确性、延迟或成本效益下降。

图 3:治理智能体工作流示例

该评估呈现出具体、可执行的措施,团队可立即应用,而非抽象建议。图 3 展示了治理智能体用于智能体成熟度评估的仪表盘。治理智能体提供证据和可执行的建议,而负责任的人类负责治理决策。建议在应用前需要人工确认,从而维持问责的四眼原则。发现的问题会更新注册表中智能体的治理状态,而完整详情则单独记录在中央知识库中,以便审计和追溯。

阶段 3 将智能体作为运行中的系统进行评估:真值评估门(根据设计时建立的基准对输出进行评分)和智能体性能(延迟、token 消耗)。图 4 详细说明了指标、评分标准及其之间的关系。

图 4:评估指标概览

图 4:评估指标概览

阶段 4 在注册智能体及其子智能体、工具和技能之前检查是否存在重复项。下表显示了注册表中每个智能体存储的元数据字段。

Agent 元数据
核心数据: - 唯一标识符 - 名称 - 描述 - 版本 - 业务负责人 - IT 负责人 - 能力:名称、描述 - 功能列表:名称、描述、方向:提供/使用 - 状态:规划中 / 活跃 / 已弃用 - 指向规范、Agent 卡片或文档的链接 - 托管模式:本地部署、云端、云区域
服务级别协议数据: - 目标可用性(百分比) - 目标 P95 响应时间(毫秒) - 支持时间 / 运营支持模式
数据治理标志: - 信息分类级别 - 是否处理个人数据标志 - 数据保留期限/策略 - 是否记录请求和响应负载标志 - 是否脱敏 PII 数据标志 - 是否需要人工介入标志(高影响/不可逆操作必需)

表 1:存储在注册表中的智能体元数据示例

如果任何步骤失败或指标恶化,部署就会停止,并保留日志用于根因分析。如果所有检查都通过,智能体就会被打包并作为容器化工作负载部署,从而产生一致、可复现的部署。这可以防止未受治理的智能体进入生产环境,自动化合规检查,并保持注册表的准确性。

运行时

在运行时,可观测性必须捕捉两类漂移。数据漂移表现为新的或不断变化的用户查询模式,或上游 API 的变化。模型漂移表现为错误率上升或工具选择准确性下降。当客户标记某个响应时,这也会触发调查。针对漂移、分布偏移、评估分数下降或直接客户标记的告警会触发分阶段响应。这些事件会被记录并转交人工审查。此外,团队可以持续运行治理智能体,以标记漂移和运营问题,供负责团队调查。

总结

大规模构建和运营智能体是一门工程学科,而不是实验练习。

有效的治理必须从一开始就是结构化的、外部化的、领域敏感的,并以确定性方式强制执行。我们引入了三层组合层次结构(MCP 工具、技能和流程),作为可复用、可组合和可互操作智能体的架构基础,并将其分解为专门化的智能体,以控制复杂性和范围。我们展示了每次 CI/CD 运行中的验证和评估如何使质量保证成为日常开发的一部分,以及将智能体基础设施定义为代码如何让团队对集群中的每个智能体应用相同的治理规则。最后,我们在智能体生命周期中将这些模式付诸实践,从经过预验证的参考架构和结构化流水线,到持续评估已部署智能体的运行时治理智能体。

我们的经验表明,这些实践在几个方面带来了回报。可复用模板和共享基础设施降低了开发成本。得益于标准交互模型和自动化部署,团队还能更快地将智能体投入生产。质量也得到了提升,因为流水线在生命周期的每个阶段都强制执行经过验证的模式。

扩展智能体治理是整个行业的当务之急。向 AI 和生成式 AI 支持的工作流自动化的转变,已经在重塑工程组织的运作方式。赢家将是那些超越试验阶段、建立起大规模治理自主智能体网络之纪律的组织。有了这些实践,BMW 工程师就能专注于解决真正重要的问题:打造终极驾驶机器。

要将这些理念应用到您自己的智能体中,请从 AWS Well-Architected Framework 开始。本文将其作为可复用智能体蓝图的模型。要了解 BMW 如何在其 AWS 环境中将治理制度化,请阅读 How BMW Group uses automation to achieve end-to-end compliance at scale on AWS。

展望与后续步骤

本文描述的模式和实践是基础,而非终点。我们正在多个方向上积极扩展它们:

  • 改进架构指导: 为构建智能体的团队发布关于架构权衡、组合模式和反模式的最佳实践指南。
  • 扩展基础设施即代码模板: 以可用的 IaC 模块形式提供智能体蓝图,默认内置安全和治理标准。
  • 深化治理合规测试: 增加验证治理合规性的 CI/CD 测试用例。
  • 自动化标准执行: 在部署前和运行时阶段扩展自动化检查与托管合规扫描规则。
  • 扩展智能体 FinOps: 治理模型和工具调用的合理规模配置。
  • 智能体用户指导: 将所述模式集成到 BMW 的架构指导智能体 Archimedes 中,以提供上下文相关的架构建议。

致谢

作者谨向以下人士致谢(按字母顺序):Alexander Stark、Alexander Zimmer、Dr. Céline Laurent-Winter、Dominik Segl、Florian Seidel、Hugo Lerias、Dr. Lars Lewerenz、Mark Neumann、Ralf Bottesch、Ramona Weber、Satish Vasireddy、Samuel Voss、Xagarey-Louis Meyer。