Agentic AI Architecture Faces Challenges and Opportunities Ahead
The article traces the evolution of agentic AI systems from single agents to chained, graph-based and multi-agent topologies, with context strategies shifting from static prompts to dynamic context and RAG. The author argues agentic AI architecture will layer on top of microservices and cloud-native foundations, elevating IT systems from data processing to knowledge operations, while noting the field remains immature with topology selection and context management as key challenges.
Related Entities
Full Report
Contents8 sections
大多数软件工程师和架构师对微服务和云原生架构早已耳熟能详,多年来也一直参与构建基于这些架构的系统。基于微服务的系统通常由数十、数百甚至数千个服务组成,负责不同类型的数据处理任务——API 端点、数据管道、后台工作流,以及各类中间场景——但它们都有一个共同点:按照代码确定的逻辑或基于从数据存储中检索到的数据来处理数据。这并不意味着这类系统很简单,恰恰相反,它们可能十分复杂。但即使它们很复杂,人们仍然可以用确定性的方式对它们进行推理,这有助于定义和界定功能范围、实现、测试变更和运维系统,哪怕遇到基础设施或应用层面的故障。
但这一切即将迎来改变。事实上,未来软件系统中有相当一部分仍将保持确定性,和我们如今熟悉的形态相近。但用不了多久,大量正在设计和交付的 IT 系统将利用基于 AI 的解决方案来驱动面向用户的功能。对绝大多数(甚至全部)架构师和工程师而言,他们必须适应 IT 行业全新的现实。
AI 进入软件架构,核心驱动力来自 AI 带来的全新能力,这类能力对于知识工作者使用的产品尤为有用。在过去,IT 系统专注于存储、处理数据,并通过 API 和用户界面提供数据。与此同时,人类负责相当一部分数据管理工作,运用业务规则、流程、团队内部沉淀的隐性经验以及个人判断力开展工作。客观来说,其中一部分(甚至很大一部分)智能被直接构建到 IT 系统中,用以提高生产力,尤其是在业务规模化扩张的关键阶段。借助 AI 能力,软件系统可以从操作原始数据转变为操作知识,从而将 IT 的角色从单纯的数据管理和处理职能提升为在知识层面支撑业务运转、赋能终端用户。
我们很难判断基于 AI 的方案会在多大程度上主导下一代软件系统。但种种迹象表明,它带来的影响会极其深远,足以催生一种全新的软件架构:由 AI 驱动大量功能模块,让使用这套下一代系统构建产品的人工作效率大幅提升。智能体 AI 架构是指大规模使用智能体 AI 系统、以充分发挥生成式 AI(以及其他)模型能力为目标的软件架构。这类架构建立在微服务和云原生架构之上,并加入了智能体 AI 能力。
智能体 AI 系统的兴起
智能体 AI 并不是全新概念,但也尚未发展成熟。过去几年,智能体 AI 系统已经从简单的单智能体解决方案,演变为链式结构,再到图结构和多智能体系统(MAS)——多个智能体按照不同的拓扑结构协同工作。这一领域仍处在快速发展阶段,未来必然会涌现出更复杂的应用场景。不过要注意,不同的协作策略或拓扑结构适合特定的场景,很多时候,选择更简洁的方案反而更有利。
智能体依靠合适的上下文充分发挥与之交互的大语言模型的能力。上下文方案也在迭代:从最早的预设提示词开始,之后逐步演进为动态上下文——上下文信息来自其他智能体的输出、上下文传递或是通过检索增强生成(RAG)从外部数据源拉取的数据。
当来自不同来源的上下文信息不断累积,开始出现推理能力下降的问题,工程师摸索出了新的上下文管理方式,上下文工程由此成为一项独立的实践。渐进式上下文披露(Progressive Context Disclosure)技术可以进一步优化上下文准备步骤:智能体能够根据用户提示词选择性地把详细信息加载到上下文窗口中。
由于 LLM 的上下文窗口存在大小限制,上下文工程的作用在于确保所使用的上下文能够最大化模型产生期望结果的可能性,或至少最大限度地降低因上下文模糊或不充分而产生幻觉的几率。有效的上下文工程需要上下文管理来存储、优化和复用上下文元素,以供后续的智能体调用。
最近,面向 AI 智能体的记忆系统也应运而生,进一步增强了上下文编辑能力。这些系统对不同类型的长期记忆(情景记忆、语义记忆、程序记忆)进行组织和查询,让智能体能够用过去的经验/决策、相关事实/定义、规则或习得的行为来补充上下文。
上下文工程已成为智能体 AI 系统的基础性架构关注点。随着构建和运营基于 AI 的产品所需的要求和期望不断增长,它也必将持续演化。
智能体 AI 已经发展出一系列专有的通信协议。这一过程在很大程度上是由智能体开发的复杂性、标准化的需求以及改进互操作性的需求所驱动的:
- Agent2Agent 协议(A2A)——专为多智能体系统设计,实现 AI 智能体之间的互操作。
- 模型上下文协议(MCP)——专注于 AI 智能体与外部服务(数据库、工具等)之间的通信。
从智能体 AI 系统到智能体 AI 架构
要让智能体 AI 系统产生价值,就需要将其集成到更大的企业架构中。在企业环境中,可以通过以下方式集成智能体 AI 系统:
- 将智能体嵌入到对外暴露 API(HTTP/GRPC)的微服务中;
- 把智能体作为 MCP 工具或是基于 A2A 协议进行调用;
- 让智能体微服务消费来自异步通道(队列/主题)的消息。
大型企业级架构可能包含许多专门的智能体 AI 系统。由于 AI 智能体可以通过 MCP 直接访问数据库、服务/API 或任意数据源,因此有必要按照领域驱动设计(DDD)的思路把智能体的交互范围限制在限界上下文内。在大型的架构中限制智能体 AI 系统的作用域可以减少相距遥远或不相关的组件和数据源之间的耦合,让工程团队能够维护更具内聚性的区域,而不会产生过多的依赖或在引入变更时造成过大的影响。

图 1 描绘了一个简化的架构,其中包含两个限界上下文,每个上下文都嵌入了一个包含多个智能体(A)的智能体 AI 系统和其他微服务(S)。智能体仅使用本地数据源和服务进行上下文扩展,降低了与更大软件系统其他部分的耦合。
智能体 AI 系统的性能与可扩展性
云原生软件架构的可扩展性已经被充分理解,架构师和工程师已经搭建、运维这类系统很长时间了。但智能体 AI 系统并非如此:大模型调用延迟更高,复杂的多智能体系统还可能进一步增加处理耗时。评估智能体 AI 系统性能不能只依靠吞吐量、延迟、错误率这类传统指标。
谷歌和麻省理工学院的研究人员发表了一篇介绍多智能体系统扩展框架的论文。研究团队测试了多种多智能体协调策略,每种策略都有若干配置参数,包括 LLM 调用次数、智能体数量和每个智能体的交互次数。研究人员得出结论:最佳的协调策略取决于具体任务——金融推理场景更适合中心化编排,网页导航类场景则去中心化策略效果更好。
谷歌和 MIT 的研究结果表明,在智能体 AI 领域不存在一刀切的方案,构建复杂解决方案的团队必须反复试验,通过实证确定最适合其任务的智能体协调策略。
智能体 AI 的安全挑战
将智能体 AI 纳入分布式系统架构会显著改变安全模型。智能体 AI 带来了额外的安全威胁,主要集中在智能体运行时、工具服务器(MCP 或其他)以及模型服务商侧。例如,AI 智能体可能容易受到提示词注入、指令混淆或工具输出投毒的攻击,从而导致非预期的行为或泄露它们可访问的数据。此外,使用外部 LLM 模型还会引入数据属地、数据保留或数据使用合规等风险。
现有的访问控制模型经过数十年的打磨,但并不适合智能体——智能体实际上既不能被视为人类用户,也不能被视为后端服务。Auth0 高级开发者 Cameron Pavey 最近提出了一种专门针对 AI 智能体的新权限模型。他认为,常规(非 AI)后端服务通常更受信任,因为它们是确定性的、可审计的,而且认证会话和用户界面会对用户形成约束。相比之下,智能体可以在用户不知情或未明确许可的情况下自主触发包含其他智能体、工具调用的多步骤工作流。
Pavey 提出使用能力范围权限和任务范围凭证作为解决智能体权限问题、采用细粒度授权系统进行分层执行的关键步骤。
值得一提的是,安全领域并不是第一次出现这种重大变化。当年微服务、云原生架构兴起时,我们也看到了这一领域的转变,导致了访问控制机制和协议的重塑,以及 JWT 和 OAuth 等如今司空见惯的技术的出现。
可观测性
智能体 AI 系统具备非确定性,因此可观测性是有效构建、增强、排查故障和运维这类系统的关键。
团队应力求覆盖现代可观测性平台的全部核心维度:
- 日志——使用结构化日志,记录决策及其理由和证据;包含关联 ID;清除个人身份信息。
- 指标——评估输出质量、延迟、成本;为性能和预算创建 SLO 仪表盘。
- 追踪——追踪任务/步骤(规划、工具、验证);包含关联 ID。
- 告警——对性能下降、延迟突增、异常情况进行告警。
- 运行手册——维护一套定期评审的运行手册。
微服务、云原生与智能体 AI 架构的融合
尽管智能体 AI 有望成为未来 IT 产品和服务的主导力量,但我们不能指望瞬间完成切换。在未来的许多年里,我们今天所熟知的分布式系统架构将与下一代架构共存,就像面向服务架构(SOA)用了数年时间逐步被微服务替代一样。
此外,鉴于智能体 AI 尚处于相对初级的阶段,这一领域需要一些时间才能发展成熟并获得广泛采用,过渡会循序渐进,新的设计模式、最佳实践、配套技术也会不断涌现,从而进一步推动普及。
最后,并非所有产品或业务流程都需要智能体 AI,或者在部分场景下使用 AI 不具备经济可行性。某些行业或某类产品/系统可能无法像其他行业一样快速从 AI 中受益。从这个意义上说,微服务和云原生架构将以某种形式继续存在。
从微服务与云原生到智能体 AI 平台
随着智能体 AI 逐步成为行业主流,行业内的成熟度和采用度不断提升,我预计很多当前需要定制开发的组件和方案,未来会封装成通用平台能力。这些平台将支持多智能体系统的交付和运维,并且能够把智能体系统集成到更大规模的企业架构中。
尤其是智能体 AI 基础组件:智能体记忆、资产注册、安全护栏、编排能力,以及配套的可观测性和运维能力,都会成为智能体 AI 平台的内置能力——无论是自研,还是由供应商或云服务商提供。
目前已有若干可供开发者使用的智能体 AI 平台/框架,包括 LangChain(含 LangGraph)、CrewAI、Azure AI Foundry、Google Agent SDK (ADK)、Amazon Bedrock AgentCore Gateway。
这一过程将遵循与微服务架构相同的路径:企业落地新架构产生大量需求,催生内部自建运维方案,之后逐步被托管式商业化产品替代。
智能体 AI 架构的未来
行业正处于重大变革的前夜,智能体 AI 架构很有可能在未来数年乃至数十年内成为分布式系统的主导架构。这并不意味着微服务和云原生架构将过时,相反,它们将构成下一代系统的基础,在这些系统中,AI 驱动着绝大部分用户体验。架构师和工程师今天所熟悉的内容,将成为交付 AI 产品和服务的基础——这些产品和服务融合了数据、知识和基于计算的推理。
这里所描述的转变将提高众多行业知识工作者的生产力,并改善其使用体验。它不仅会极大地重塑 IT 行业,还会深刻改变整个现代社会。
我们目前仍处在早期阶段,创新层出不穷,目标持续迭代,大量实践、试错与学习正在发生,但前路无疑充满机遇。
【声明:本文由 InfoQ 翻译,未经许可禁止转载。】
查看英文原文:https://www.infoq.com/articles/agentic-ai-architecture-challenges-opportunities/