IBM 评测 CUGA、Hermes 与 Deep Agents：同一模型下 AppWorld 完成率从 30% 到 81%

Hugging Face 社区博客·2026-11-03 23:57· 34 分钟前AI 评分59

同一模型，不同 Harness：CUGA、Hermes 与 Deep Agents——何时选择 CUGA？

AI 导读

IBM CUGA 团队用同一开源模型 GLM-5.3-flash 在 AppWorld 的 90 个任务上对比三种 agent harness：CUGA 完成 81.1%（73/90），Hermes 46.7%，Deep Agents 30.0%；SGC 一致性指标差距更大，分别为 20、8、2 个场景。

正文 · 原文

可供选择的 agent harness 有近 200 个。我们让其中三个使用同一个开放权重模型，并运行同样的 90 个 AppWorld 任务，结果仅更换 harness 就让任务完成率从 30% 提升到 81%。对于企业用途，CUGA 还增加了本基准未测试的内容：由 harness 强制执行的规则，以及在你自己的边界内部署。

awesome-agent-harness 和 best-of-Agent-Harnesses 等社区清单收录了近 200 个 harness，它们清楚地说明了一点：重要的不只是模型，harness 也很关键。在 best-of-Agent-Harnesses 引用的一项分析中，同一个 GLM-5.2 模型在 SWE-bench Pro 上仅更换 harness 就从 23% 提升到 52%。

因此，正确的问题不是“哪个 harness 最好？”，而是“哪个 harness 适合我的工作负载和我的模型？”Nous Research 的 Hermes 专为常驻个人助理打造，LangChain 的 Deep Agents 则面向研究等长时间、多步骤任务。两者在这些工作上都很出色。

企业工作是另一类任务。Agent 要操作 CRM、支付等业务系统，并且必须遵守无论模型如何决策都成立的规则。CUGA（ConfigUrable Generalist Agent）是 IBM 为此类任务构建的开源 harness，支持开放权重或托管模型，可部署在你自己的环境中，包括主权云和隔离部署。为了衡量 harness 带来的增益，我们保持模型不变，只更换 harness。

受控实验：同一模型，不同 harness

我们在 AppWorld 上运行了 CUGA、Hermes 和 Deep Agents。AppWorld 是一个跨 9 个应用和 457 个 API 的多步骤任务基准，涵盖电子邮件、支付和文件存储等。这些应用是消费级应用，因此 AppWorld 只是一个代理：它测试的是企业自动化同样需要的一部分能力，例如登录、阅读 API 文档、分页浏览结果，以及跨多个应用更改状态。每个 harness 都在 30 个场景的同样 90 个任务上使用同一个开放权重模型 GLM-5.3-flash，每个任务尝试一次。所有运行都使用 Harbor 评估框架，我们的设置已在 harbor-eval（我们的 Harbor 分支）中公开。

结果

图 1. AppWorld，30 个场景中的 90 个任务，每个 harness 均使用 GLM-5.3-flash。TGC：通过的任务数。SGC：全部三个变体均通过的场景数。

如何阅读本文。这不是对 Hermes 或 Deep Agents 的评判。两者都不是为 AppWorld 这类多应用 API 工作而构建的，而这正是关键所在：执行框架必须与任务相匹配。

最有用的数字是 SGC。一个场景只有在其三个变体全部通过时才算通过，因此 SGC 奖励的是一致性，而非侥幸的一次运行。这里的差距更大：CUGA 为 20 个场景，Hermes 为 8 个，Deep Agents 为 2 个。

有三点局限。这是在一个基准上的 90 项任务样本，因此结果可能无法推广到其他任务。各次设置并不完全相同（见上方的设置表）。而且这些运行未使用策略，因此它们并未衡量策略的执行情况。

这些分数从何而来

在 90 项任务的对比中，每次运行所用的模型都相同，因此差异来自执行框架。每个 CUGA 智能体都运行同一个紧凑循环：准备、调用模型、执行、重复。同一个循环可以从一个拥有自己工具的 CugaAgent 扩展到协调多个智能体（本地或通过 A2A 远程）的 CugaSupervisor。以下是在 AppWorld 设置中运行的 CUGA 功能，按其作用分组：

🧭  规划工作

任务分解：将任务拆分为多个步骤，一次处理一个应用

聚焦工具：每个步骤只能看到其所属应用的工具和少数共享工具，而非全部 469 个

工具筛选器：find_tools 搜索某个步骤所需的任何其他工具

🐍  以代码行动

CodeAct：模型编写调用应用 API 的 Python 代码

沙箱：代码在受限环境中运行，并设有时间限制

🔍  行动前检查

执行前验证：每个会更改数据的代码块在运行前都会经过检查

🔁  行动后检查

自动反思：审查结果，并允许智能体修正其计划

分页审计：标记出返回了整页但从未请求下一页的列表调用

借助这些功能，模型需要做的决策更少，而执行框架能在错误影响结果之前捕获更多错误。

执行框架掌控的每一步都是一个执行点

执行框架所控制的每一步（如上文列表中的那些）也是它可以检查规则的地方。

大多数团队将业务规则（例如付款审批或将客户 PII 保留在组织内部）写入系统提示词。提示词是一种指令，而非强制执行。模型可能误读它，用户可能说服智能体违背它，注入的消息可能在任务进行中改变它。

CUGA 策略将这些规则从提示词中移出，放入执行框架。我们在 ACM CAIS 2026 论文 Governance by Construction for Generalist Agents（arXiv）中描述了这一策略层。这些策略在每次运行的四个时间点起作用：

指导信息会引导模型，但审批和 ToolGuards 由运行时强制执行。将付款审批和 PII 处理等规则放在第二组中，无论模型如何决定，这些规则都会生效。

你可以在 Policy Playground 中亲自看到差异，它会把同一条消息发送给两个实时智能体，一个没有策略，一个有策略：

图 2。对于“支付我欠的所有款项。”，没有策略的智能体支付了 90 美元，其中包括一笔被拒绝的催收索赔。有策略的智能体将付款保留以待审批，然后只支付了应付的 10 美元。

为什么选择 CUGA

选择 harness 要像选择模型一样谨慎。在我们的比较中，同一个模型完成了 AppWorld 任务的 30% 到 81%，具体取决于 harness。对于企业工作，CUGA 为你提供：

• 强劲结果，现在也支持开放权重模型。 使用托管模型时，CUGA 在 WebArena（2025 年 2 月至 9 月）和 AppWorld（2025 年 7 月至 2026 年 2 月）上保持第 1 名。
• 由运行时强制执行的规则。 审批和工具防护会在 harness 中阻止调用，无论模型如何决定。
• 部署在你主权边界内。 CUGA 采用 Apache 2.0，可与任何 OpenAI 兼容端点配合使用，并可在本地、你的私有云或主权云中的 Kubernetes 上运行，甚至可在气隙隔离的主权集群中运行，支持 OIDC 登录以及独立的聊天和管理角色。IBM Sovereign Core 构建于 CUGA 之上，可在客户边界内完全运行智能体。
• 可衡量的成本。 预算限制支出，运行回执显示每次运行的 token、工具调用和时间。
• 配置，而非代码。 在 UI 或 SDK 中设置工具、预算和策略，测试草稿，并发布版本。

何时选择其他方案

CUGA 并非适合所有工作的 harness：

• 对于终端编码智能体，请使用 opencode、Codex 或 Claude Code。
• 对于驻留在聊天应用中的个人常开助手，请使用 OpenClaw 或 Hermes。
• 对于空白画布式图框架，请直接使用 LangGraph。CUGA 构建于其上。

CUGA 用于在可强制执行的规则下，跨 API、应用和 Web UI 自动化业务工作。

试用 CUGA

• 🛡️ Policy Playground · 策略指南
• 🧪 复现比较
• ⭐ 在 GitHub 上为 CUGA 加星
• 🚀 试用 CUGA：快速安装

CUGA 团队进行了这项比较，并且 CUGA 使用了其他 harness 未使用的 AppWorld 配置。如果你能配置 Hermes 或 Deep Agents 做得更好，请将配置发送至 harbor-eval。我们将在相同任务上重新运行并发布结果，无论哪个 harness 获胜。

来源：Hugging Face 社区博客 · huggingface.co