IBM 发布 CUGA 智能体框架 对比 Hermes 与 Deep Agents
IBM Research 推出名为 CUGA 的智能体执行框架，旨在通过优化任务编排提升大模型在复杂场景下的表现。文章详细对比了 CUGA 与现有主流框架（如 Hermes、Deep Agents）在 AppWorld 基准测试中的差异，并开源了评估配置以支持社区复现与竞争。
报道正文
本文目录8 个章节
同一模型，不同 Harness：CUGA、Hermes 与 Deep Agents — 何时选择 CUGA？
企业级文章 发布于 2026 年 11 月 3 日 点赞 13
-
+7
Sami Marreed samimarreed 关注 ibm-research Anupama Murthi anupamamurthi 关注 ibm-research Vinod Muthusamy vinodmut 关注 ibm-research Ankita Naik ankita-naik 关注 ibm-research Segev Shlomov segevshlomov 关注 ibm-research Jayaram Radhakrishnan jayaramkr 关注 ibm-research Aminat A aadebiyi 关注 ibm-research Ayhan Sebin ayhansebin 关注 ibm-research Hamid Adebayo harmedox 关注 ibm-research Erez Bilgory erezbi 关注 ibm-research Asaf Adi AsafAdi 关注 ibm-research Jim Laredo laredoj 关注 ibm-research Merve Unuvar mrvnvr 关注 ibm-research
目前市面上有近 200 种 Agent Harness（智能体执行框架）可供选择。我们向其中三种框架提供了相同的开源权重模型和 90 个 AppWorld 任务，仅更换 Harness 就将任务完成率从 30% 提升到了 81%。对于企业应用而言，CUGA 增加了本基准测试未涵盖的功能：由 Harness 强制执行的规则以及在你自身安全边界内的部署能力。
⭐ 在 GitHub 上为 CUGA 点星 🛡️ 试用 Policy Playground →
社区清单如 awesome-agent-harness 和 best-of-Agent-Harnesses 追踪了近 200 个此类框架，它们清晰地指出了一个事实：Harness（智能体运行框架）至关重要，而不仅仅是模型本身。在 best-of-Agent-Harnesses 引用的一项分析中，仅更换 Harness，同一款 GLM-5.2 模型在 SWE-bench Pro 上的得分就从 23% 提升到了 52%。
因此，正确的问题不是“哪个 Harness 最好？”，而是“哪个 Harness 最适合我的工作负载和我的模型？”Nous Research 推出的 Hermes 专为全天候个人助手设计，而 LangChain 的 Deep Agents 则适用于研究等长周期、多步骤任务。两者在各自擅长的领域都表现出色。
企业级工作则是另一回事。智能体需要在 CRM 和支付等业务系统上执行操作，并且必须遵循无论模型如何决策都始终有效的规则。CUGA（ConfigUrable Generalist Agent，可配置通用智能体）是 IBM 为此类场景打造的开源 Harness，支持开源权重或托管模型，可在用户自有环境中运行，包括主权云和隔离网络部署。为了衡量 Harness 带来的增益，我们保持模型不变，仅更换 Harness。
受控实验：相同模型，不同 Harness
我们在 AppWorld 上运行了 CUGA、Hermes 和 Deep Agents。AppWorld 是一个基准测试平台，包含跨越 9 个应用和 457 个 API（如电子邮件、支付和文件存储）的多步骤任务。这些应用均为消费级应用，因此 AppWorld 可作为一个代理指标：它测试了企业自动化所需能力的一个子集，例如登录、阅读 API 文档、分页查看结果以及在多个应用间更改状态。所有 Harness 均使用相同的开源权重模型 GLM-5.3-flash，在 30 个场景中的 90 个相同任务上运行，每个任务仅尝试一次。所有运行均使用 Harbor 评估框架，我们的配置已在 harbor-eval（我们的 Harbor 分支）中公开。
| Harness | 运行方式 |
|---|---|
| CUGA | CUGA 的 AppWorld 配置：AppWorld 指令、任务分解、执行前验证以及自动反思 |
| Hermes | Harbor 默认的 Hermes 设置，通过 MCP 提供 AppWorld 工具 |
| Deep Agents | 通过 MCP 提供 AppWorld 工具，加上 LangChain 内置中间件，针对 469 个工具进行配置：工具选择、上下文摘要、待办事项列表、重试机制和调用限制。我们还添加了两个小修复，以防止格式错误的 GLM 回复导致运行终止 |
结果
AppWorld，30 个场景中的 90 项任务，GLM-5.3-flash TGC：通过的任务数 SGC：所有 3 种变体均通过的场景数 CUGA 81.1 (73/90) 66.7 (20/30) Hermes 46.7 (42/90) 26.7 (8/30) Deep Agents 30.0 (27/90) 6.7 (2/30)
图 1. AppWorld，30 个场景中的 90 项任务，每个测试框架（harness）均使用 GLM-5.3-flash。TGC：通过的任务数。SGC：所有三种变体均通过的场景数。
如何解读这些数据。 这并非对 Hermes 或 Deep Agents 的最终定论。两者最初都不是为 AppWorld 这类多应用 API 工作而设计的，而这正是重点所在：测试框架必须与任务需求相匹配。
最有价值的指标是 SGC。只有当某个场景下的全部三种变体都通过时，该场景才算成功，因此 SGC 奖励的是一致性，而非侥幸的成功。在此指标上，差距更为显著：CUGA 通过了 20 个场景，Hermes 通过了 8 个，Deep Agents 仅通过了 2 个。
存在三个局限性。首先，这是基于单一基准测试的 90 项任务样本，结果可能无法推广到其他任务。其次，各测试框架的配置并不完全相同（参见上方的配置表）。最后，这些运行未启用策略机制，因此并未衡量策略执行能力。
得分来源解析
在 90 项任务的对比中，每次运行使用的模型均相同，因此差异完全源于测试框架。每个 CUGA 智能体都运行相同的紧凑循环：准备、调用模型、执行、重复。这一循环具有可扩展性，既适用于拥有独立工具的单个 CugaAgent，也适用于协调多个本地或远程（通过 A2A 协议）智能体的 CugaSupervisor。以下是 CUGA 在 AppWorld 设置中实际运行的功能特性，按其作用分类：
🧭 规划工作
* 任务分解：将任务拆分为步骤，每次专注于一个应用
* 聚焦工具：每个步骤仅可见其所属应用的工具及少量共享工具，而非全部 469 个工具
* 工具筛选器：find_tools 可搜索步骤所需的任何其他工具
🐍 代码执行
* CodeAct：模型编写 Python 代码以调用应用 API
* 沙箱：代码在受限环境中运行，并设有时间限制
🔍 行动前检查
* 执行前验证：在每个修改数据的代码块运行前，由检查模块进行审查
🔁 行动后检查
* 自动反思：审查结果，允许智能体修正其计划
* 分页审计：标记那些返回了满页数据但未请求下一页的列表调用
凭借这些特性，模型需要做出的决策更少，而测试框架能在错误影响最终结果之前捕获更多问题。
测试框架掌控的每一步都是执行点
harness 控制的每个步骤（如上述列表中的那些）也是其可以检查规则的地方。
大多数团队将业务规则（例如支付审批或将客户 PII 保留在组织内部）写入系统提示词中。提示词是一种指令，而非强制约束。模型可能会误读它，用户可能会说服 agent 违反它，或者注入的消息可能在任务中途改变它。
CUGA 策略将这些规则从提示词中移出并放入 harness 中。我们在 ACM CAIS 2026 论文 Governance by Construction for Generalist Agents (arXiv) 中描述了这一策略层。这些策略在每次运行的四个关键点发挥作用：
| 运行阶段 | 策略类型 | 作用方式 | 示例 |
|---|---|---|---|
| 用户意图 | Intent Guard | 在 agent 行动前拦截或响应匹配的请求 | 拦截删除所有客户记录的请求 |
| Agent 指导 | Playbook | 为 agent 提供标准操作流程 | 逐步遵循退款流程 |
| 工具执行 | Tool Approval | 硬性停止： 运行暂停以等待人工审批并显示拟议代码 | 在支付工具运行前询问人员 |
| 工具执行 | Tool Guide with ToolGuard | 硬性检查： 守卫代码在工具之前运行。被拦截的调用返回策略违规，且工具从未被调用 | 拦截超过 $1,000 的支付 |
| 最终响应 | Output Formatter | 将答案格式化为批准的模板 | 使用批准的回复模板 |
指导旨在引导模型，但审批和 ToolGuards 由运行时强制执行。请将支付审批和 PII 处理等规则归入第二类，无论模型如何决策，它们都能确保规则生效。
你可以在 Policy Playground 中亲自看到这种差异，该环境向两个实时 agent 发送相同的消息，一个没有策略，另一个有策略：
图 2。对于“Pay everything I owe.”（付清我欠的所有款项），没有策略的 agent 支付了 $90，其中包括一笔已被拒绝的催收索赔。而有策略的 agent 将支付挂起以待审批，随后仅支付了应付的 $10。
为什么选择 CUGA
精心选择 harness，其重要性不亚于选择模型。在我们的对比中，同一个模型在 AppWorld 任务上的完成率介于 30% 到 81% 之间，具体取决于所使用的 harness。对于企业级工作负载，CUGA 为您提供：
- 强劲的表现，现已支持开源权重模型。 在使用托管模型时，CUGA 在 WebArena（2025 年 2 月至 9 月）和 AppWorld（2025 年 7 月至 2026 年 2 月）上均保持排名第一。
- 由运行时强制执行的规则。 审批机制和工具防护栏会在 harness 层拦截调用，无论模型做出何种决策。
- 部署在您主权边界内。 CUGA 采用 Apache 2.0 许可证，兼容任何 OpenAI 兼容端点，可本地运行、在私有或主权云 Kubernetes 集群上运行，甚至可在物理隔离的主权集群中运行，并支持 OIDC 登录以及独立的聊天和管理角色权限。IBM Sovereign Core 基于 CUGA 构建，以便完全在客户边界内运行智能体。
- 可衡量的成本。 预算限制控制支出，运行收据显示每次运行的 token 用量、工具调用次数和时间消耗。
- 配置而非代码。 通过 UI 或 SDK 设置工具、预算和策略，测试草稿并发布版本。
何时选择其他方案
CUGA 并非适用于所有任务的理想 harness：
- 对于终端编码智能体，请使用 opencode、Codex 或 Claude Code。
- 对于驻留在聊天应用中的个人常驻助手，请使用 OpenClaw 或 Hermes。
- 对于空白画布式的图框架，请直接使用 LangGraph。CUGA 正是基于它构建的。
CUGA 旨在跨 API、应用和 Web UI 自动化业务工作，并在您可强制执行规则的控制下运行。
试用 CUGA
- 🛡️ Policy Playground · 策略指南
- 🧪 复现对比实验
- ⭐ 在 GitHub 上为 CUGA 加星
- 🚀 试用 CUGA：快速安装
CUGA 团队运行了此对比，且 CUGA 使用了其他测试框架未采用的 AppWorld 配置。如果你能配置 Hermes 或 Deep Agents 以获得更好的表现，请将配置发送至 harbor-eval。我们将在相同的任务上重新运行并公布结果，无论哪个测试框架胜出。