2.7 万次编码智能体测试揭示 64% 推理成本浪费

原标题:In 27,280 coding agent runs, 64% of inference spend went to runs that failed
78AI 研判分

Runta 与 Baseten 联合发布 FrontierHarness v1.1 榜单,覆盖 22 个智能体框架、5 款模型、62 项任务共 27,280 次运行,消耗 830 亿 token。核心结论是切换模型时应同步更换框架:每个模型的最优性价比框架各不相同,按单任务成本排名,框架中位移动达 11 位,Codex CLI 从搭配 GLM-5.3 时的第 1 名跌至搭配 Kimi-K3 时的第 16 名。此外 64% 的推理支出消耗在失败运行上,且工具数量与缓存命中率均无法预测单次通过成本,只有步数可以。

报道正文

本文目录20 个章节

摘要

我们与 Baseten 合作,使用 830 亿 token、覆盖 27,280 次 agent 运行,构建了规模最大的 harness 排行榜。我们希望回答两个问题:当你更换模型时,是否也应该考虑更换 harness?每个模型的最佳 harness 是什么?

此前,我们的 v1.0 FrontierHarness 排行榜 仅基于单一模型 Kimi K3 对 harness 进行排名。

V1.1 将基准扩展到 22 个 harness × 5 个模型 × 62 个任务 × 4 次尝试,规模是 v1.0 的 76 倍。

通过实验,我们发现:在更换模型时,你应该考虑同时更换 harness,以获得最佳体验。

每个模型都有不同的最佳性价比(通过率 vs. 成本)harness:GLM-5.3 搭配 Codex CLI,GLM-5.3 Flash 搭配 Pi,DeepSeek V4.1 Flash 1017 搭配 ZCode,Muse 搭配 Oh My Pi,Kimi-K3 搭配 Alma。成本排名在不同模型之间变化很大。

按每任务成本计算,harness 的排名中位数移动了 22 个名次中的 11 个,Codex CLI 从搭配 GLM-5.3 时的第 1 名降至搭配 Kimi-K3 时的第 16 名。


结果

图 1. 各 harness 的每任务成本与通过率

每个点代表一个 harness:越靠左表示每任务平均成本越低,越高表示通过率越高。橙色线连接的是在成本和通过率两方面均不被其他 harness 超越的 harness。选择一个模型可筛选本文所有图表。

在所有模型上,有四个 harness 位于该线上:OpenCode v2(每任务成本最低,$0.561)、Pi、Codex CLI 和 ZCode(通过率最高,61.9%)。其余 harness 的成本最高可达 1.6 倍,通过率为 50.6% 至 60.2%。

每张卡片标出了一个模型的最佳性价比 harness:即每次通过成本最低者,除非另一个 harness 的每次通过成本最多高出 30% 且通过率至少高出 5 个百分点。该规则在 DeepSeek 下选择了 ZCode 而非 OpenCode v1(成本高 25%,通过率高 7.7 个百分点),在 Kimi-K3 下选择了 Alma 而非 Oh My Pi(成本高 9%,通过率高 6.5 个百分点)。


我们为何构建 FrontierHarness Eval v1.1

V1.0 使用单一模型运行了九个 harness。它们的通过率彼此相差在 17 个百分点以内,但每次通过的成本中位数相差 17 倍。我们认为这主要来自 harness 与模型的组合:某个 harness 在搭配一个模型时成本很低,搭配另一个模型时却可能很昂贵。

V1.1 让每个 harness 与五个模型搭配运行。


我们测试了什么

Harness。 18 个 harness。四个 DeepSeek Harness 配置档位的工具集各不相同,OpenCode 则运行了两个版本。每个都单独计数:共 22 种配置。附录中的表 2 给出了它们的版本。

模型。 Baseten 提供了全部五个模型:GLM-5.3(zai-org/GLM-5.3)、GLM Flash(zai-org/GLM-5.3-Flash)、DeepSeek(deepseek-ai/DeepSeek-V4.1-Flash-1017)、Muse(meta-models/muse-spark-open)和 Kimi-K3(moonshotai/Kimi-K3)。

任务。 62 个终端任务。时间限制为任务自身的时间限制,从 15 分钟到 8 小时不等。


设置与评分

配置与运行时

我们使用每个 harness 的默认设置运行 Harbor 评估,因为我们认为这最接近人们日常使用 harness 的方式。每个 harness 在所有模型上都使用相同的版本和设置,并采用最大推理强度。

图 2. Harbor 与 Runta 在每次试验中如何分工

Harbor 在各自独立的 Runta 运行时中运行每次试验及其 agent 和验证器,运行时在结束时被删除。

每次试验都会获得一个新的 Runta 运行时,并在结束时被删除。因此,任何试验都无法看到先前试验的文件。

评分方法

表 1. 方法论

一个单元格是一个 harness 与模型的组合。我们使用我们仪表盘的两个成本指标:

  • 每任务平均成本: 每个任务已计价试验的成本均值,然后对所有任务取均值。图 1 和成本排名使用该指标(图 4 和图 5)。
  • 每次通过成本: 每任务平均成本除以通过率。最佳性价比 harness 使用该指标(图 3、图 6 和图 7)。

我们以每次通过成本来挑选最佳性价比,因为我们希望 harness 位于通过率对每任务成本图表的左上方:低成本下的高通过率。从原点向某个 harness 的点画一条线。其斜率,即通过率 ÷ 成本,就是每美元通过数。每次通过成本是该斜率的倒数,因此每次通过成本最低的线最陡。

对试验日志的审计标记了 216 次试验存在奖励黑客行为,其中 163 次是在线查询。这些试验计 0 分。附录中的表 3 给出了每个 harness 和模型的计数。


按模型划分的结果

图 3. 每个 harness 与每个模型的成本和通过率

更深的单元格成本低于其所在列的其他单元格。Codex CLI 搭配 GLM-5.3 时每次通过的成本最低,为 $0.803,但搭配 Muse 时排第 12,搭配 Kimi-K3 时排第 10。在所有模型上,它每次通过的成本最低,为 $0.937,而 Antigravity CLI 最高,为 $1.63。

这些结果有多可靠?

我们重新抽取了 62 个任务 4,000 次,每次选出性价比最高的 harness。Codex CLI 搭配 GLM-5.3 在 99.6% 的抽样中保持第一。其余四个获胜者是几个接近的 harness 中最有可能的:Oh My Pi 搭配 Muse(53%)、ZCode 搭配 DeepSeek(47%)、Pi 搭配 GLM Flash(42%)以及 Alma 搭配 Kimi-K3(25%)。


Harness 会改变成本

模型决定了成本的大致水平,因为各模型的标价相差 20 倍甚至更多(图 9)。我们对 110 个单元格的每任务平均成本取对数,这样每个模型下成本翻倍都计为相同的量。双因素方差分析将这些成本的离散程度分为三部分:

  • 模型,92.8%: 五个模型之间的差异。
  • Harness,2.3%: harness 效应中在每个模型上都相同的部分。
  • 配对,4.9%: 其余部分。它也包括噪声,因为每个单元格只有一个值。

因此,在模型固定的情况下,harness 之间 68% 的变异(7.2 个百分点中的 4.9 个)取决于配对,或者说是噪声。

在模型固定的情况下,Harness 会使成本变化 1.8 到 5.0 倍

图 4. 每个模型成本最低和最高的 harness

每一行是一个模型,采用每任务平均成本的对数刻度。比值等于最高成本除以最低成本。

为了检验偶然性,我们在每个模型的各 harness 之间打乱试验 300 次,并重新计算比值。“偶然”是这些比值的中位数,为 1.2 到 1.8 倍。所有五个真实比值都大于每一次打乱的结果(p = 0.003),因此这种离散来自 harness,而不是重跑的噪声。最大的是 DeepSeek:Cline CLI 的成本是 OpenCode v1 的 5.0 倍,高出 2.0 分。在其他模型上,每任务成本最低的 harness 最多落后最贵的 harness 0.4 分。

每任务成本最低的 Harness 会随模型变化

图 5. 每个 harness 在每个模型上的成本排名(1 = 每任务成本最低)

每条线是一个 harness,成本最低的排在最上面。五条高亮线是搭配 GLM-5.3、GLM Flash、DeepSeek、Muse 和 Kimi-K3 时每任务成本最低的 harness。

Codex CLI 在使用 GLM-5.3 时排名第 1,在使用 Kimi-K3 时排名第 16。DeepSeek Harness:Creator 的排名变化最大,从使用 Muse 时的第 1 名跌至使用 GLM Flash 时的第 21 名。OpenCode v1 在使用 DeepSeek 时排名第 1,在使用 Muse 时排名第 13。

重跑并不能解释这些排名变化。我们将所有尝试分成两半,并分别按每一半中的成本对 harness 进行排名。使用同一模型时,两次排名的平均秩相关系数为 0.71。使用两个不同模型时,该系数为 0.26。

成本更高并不代表得分更高

图 6. 每个模型每次通过的最低和最高成本

这是图 4 的成本版本(每次通过的成本)。每个比值后面是各 harness 的任务成本与通过率之间的秩相关系数,范围从 −0.39 到 +0.22。正值意味着成本更高的 harness 通过率更高。

通过率最高的 harness 在每次任务成本上排名第 5 到第 22 名(共 22 个)。在五个模型中的四个上,每次通过成本最高的 harness 的通过率低于成本最低的 harness。


更简单的 Harness 成本更低吗?

不会。我们将四个因素与每次通过的成本进行了比较。提示词大小、工具数量和缓存命中率不是主要的成本因素。步数才是。

  • 起始 token: 首次 agent 循环请求的输入 token:系统提示词、工具定义和任务。
  • 工具: 首次请求提供的工具。
  • 缓存命中率和步数: 通过试验的平均值。一步是 agent 轨迹中的一条记录。

图 7. 每个 harness 的四个因素与每次通过的成本

在 22 个 harness 中,每次通过的步数与每次通过的成本之间的秩相关系数为 +0.51(p = 0.015)。对于其他三个因素,该系数为 −0.03 到 +0.02(p ≥ 0.88)。在每个模型内部,工具调用与成本的相关性和步数与成本的相关性一样强。下面的表 4 和附录中的表 5 给出了具体数值。

每一步都会重新发送上下文,因此按 harness 计算,一次试验平均使用 200 万到 480 万输入 token,而最大的首次请求为 21,365 token,不到该总量的 1%。mini-SWE-agent 的首次请求最小,为 882 token,但每次通过需要 38 步,在每次通过成本上排名第 22 名中的第 17 位。

表 4. 每个 harness 的起始 token、工具、缓存命中率、步数和每次通过的成本


成本从何而来

图 8. 每个 harness 的推理成本,按 token 类型或按试验结果划分

所有成本均为按标价计算的推理估算。模型卡上 harness 的通过率有一个概要。

在所有试验中,来自缓存的输入占成本的 42%,输出占 33%,其他输入占 25%。

Token 与缓存

缓存让重复输入便宜得多。缓存输入的价格是其他输入价格的 2%(DeepSeek)到 20%(GLM Flash)(图 9)。

图 9. 各模型的标价(每百万 token 的美元价格)

有一组对比展示了缓存的效果。使用 DeepSeek 的 Cline CLI(每任务成本最高) 有 86% 的输入来自缓存,OpenCode v1 则为 97%。它发送的输入量也是后者的两倍。非来自缓存的输入占其成本的 57%。

大部分成本花在未通过的试验上

在计分运行中,按标价计算的成本有 64.5% 花在了未通过的试验上:52.7% 用于失败,11.8% 用于超时。


五个性价比最高的 harness 的轨迹显示出三个常见的设计选择。这些是观察结果,不是测试结论。

一个 shell 工具承担了大部分工作。 按 harness 统计,它承担了 61% 到 93% 的工具调用。Pi 的默认提示词有四个工具,并将文件搜索交给 bash:

TYPESCRIPT
selectedTools: [...(input.selectedTools ?? ["read", "bash", "edit", "write"])],
addRule("Use bash for file operations like ls, rg, find");

每个请求只在前一个请求的基础上追加。 上下文的开头不变,因此提供商从缓存中读取它:在通过的试验中,91.1% 到 94.0% 的输入来自缓存(表 4)。但 22 个 harness 中有 18 个的缓存读取率达到 91% 或更高,所以这并不能区分出这五个。每一步只为大约 500 个新 token 支付完整的输入价格:

TEXT
# Pi, GLM-5.3, merge-diff-arc-agi-task (trial cd2f6dfd)
request  prompt tokens  cached tokens
15,954         15,616
16,351         15,936
16,999         16,320

没有子代理,也几乎没有摘要。 这五个中每一个最多只在 6 次试验中使用了子代理,样本太少,无法判断子代理是否有帮助。在这五个中,只有 Codex CLI 做了摘要,共 8 次试验(表 6 中的 11 次 Alma 试验只是丢弃旧图像和提醒)。Codex CLI 在窗口的 90% 处进行摘要(表 6):

RUST
.map(|context_window| (context_window * 9) / 10);

这五个 harness 也有一个共同的弱点。失败的运行最终都会给出一个自信的答案。 大约四分之三的失败试验最终给出了答案,而不是在时限处停止:从 Pi 的 68% 到 Codex CLI 的 82%。很少有试验表示工作未完成:

YAML
# Codex CLI, GLM-5.3, cancel-async-tasks (trial 37182b0e)
Agent:    - Validated with system Python, including concurrency and
            cancellation-cleanup tests.
Verifier: FAILED test_tasks_cancel_above_max_concurrent
          assert stdout.count("Cleaned up.") == 2
          AssertionError: assert 0 == 2

未通过的试验花费了每个 harness 成本的 60%(Codex CLI)到 69%(Alma)。在 harness 停止前进行一次检查可以节省一部分成本,但我们没有测试这一点。


局限性与未来工作

  • 开源模型,单一提供商。 闭源模型可能给出不同的结果。缓存和价格均来自 Baseten,换用其他提供商可能会改变成本排名。

我们计划接下来做两件事:

  • 闭源模型。 我们将加入闭源模型,例如 Claude Opus 5.5、GPT-6 Astra 和 Gemini 4 Carbon。
  • 长周期工作。 我们将研究在云端持续运行的 harness 如何在长时间工作中自我改进。

结论

  • 更换模型时,也要考虑更换 harness。 用你自己的私有任务数据集测试候选 harness 与模型的组合,数据集要足够大,以便排除噪声干扰。
  • 成本主要由模型决定,harness 次之。 模型解释了每任务成本方差的 92.8%。在模型固定的情况下,最贵的 harness 每次通过的成本是最便宜 harness 的 1.9 到 4.9 倍(每任务为 1.8 到 5.0 倍),因此选择 harness 时要比较成本。
  • 更高的成本并不带来更高的通过率。 对每个模型而言,每任务成本与通过率的秩相关为 −0.39 到 +0.22。
  • 规模不能预测成本。 最小的 harness mini-SWE-agent,在所有模型上的每任务成本排名为 22 个中的第 19 位。
  • 大部分成本(64.5%)花在了未通过的运行上。 在使用五个性价比最高的 harness 时,68% 到 82% 的失败运行以给出自信的最终答案告终,而非达到时间限制。
  • 对于通过率范围较广的廉价模型,应选择通过率高的 harness。 不同 harness 的通过率存在差异,使用 DeepSeek 时为 54.0% 到 69.0%。但每个通过率的 95% 区间约为 ±10 个百分点,因此几个百分点的差距属于持平。
  • 对于 harness 开发者:减少步骤,而不仅仅是减少 prompt token。 prompt 大小、工具数量和缓存命中率并不能预测每次通过的成本。步骤数可以,因为每一步都会重新发送整个上下文。

附录:参考表格

表 2. Harness 配置

表 3. 各 harness 的奖励黑客试验

表 5. 各 harness 的 prompt 与工具