Artificial Analysis (@ArtificialAnlys) · 2026/10/14 03:17:42
Artificial Analysis 上线缓存命中率与任务成本：GLM-5.3 跨供应商价差达 9 倍
Artificial Analysis 平台新增“缓存命中率”与“按供应商划分的单任务成本”指标，揭示智能体工作负载中缓存机制对成本的巨大影响。数据显示，同一模型（如 GLM-5.3）在不同推理服务商处的单任务成本差异可达 9 倍，主要源于缓存命中率与定价策略的不同。该工具通过实测多轮编码任务中的缓存命中情况，为开发者优化 AI 应用成本提供了量化依据。
报道全文原始报道全文
Artificial Analysis (@ArtificialAnlys) · 2026-10-13 19
Artificial Analysis 现已上线各提供商的缓存命中率（Cache Hit Rates）和单任务成本（Cost per Task）。GLM-5.3 (max) 的单任务成本在不同提供商之间差异约为 9 倍，这主要由缓存命中率和 token 定价共同驱动。
Agentic 工作负载在每一轮对话中都会重新发送完整的上下文历史，因此大部分输入 token 是可缓存的，而缓存定价和缓存命中率主导了单任务成本的差异。我们此前已使用实测缓存命中率来计算单任务成本，现在我们将公开所追踪的每个模型端点的缓存命中率数据。
新功能： ➤ 所有第一方和第三方端点的缓存命中率现已可见。这些数据通过运行多轮 Agentic 编码任务并读取各提供商用量响应中的缓存 token 数量测得。缓存命中率定义为从缓存中提供的可缓存输入 token 占比。 ➤ 开源权重模型的按提供商划分的单任务成本现已可用。该成本基于各提供商的输入、输出、缓存命中及缓存写入价格，并结合其实测缓存命中率计算得出。为了在同一模型的不同提供商之间进行标准化比较，我们使用了该模型在 Intelligence Index 测试中相同的输入、输出及可缓存 token 数量。
关键要点： ➤ GLM-5.3 (max) 的单任务成本在不同提供商之间跨度约为 9 倍，从 Makora 的 8.68。两者几乎将所有可缓存输入都从缓存中提供（分别为 98% 和 100%），且输出价格相同（每百万 token 0.10，而 Nebius 在其共享 Serverless 端点上不提供缓存输入折扣，所有输入均按全额 $1.40 计费。 ➤ 在 21 家提供商（25 个端点）中，缓存命中率范围从 41% 到 100%。其中 15 个端点的命中率在 98% 或以上，8 个端点达到 100%，包括：Modal、DeepInfra、Parasail、Together AI、DigitalOcean、Nebius、Novita 以及 Z AI 的第一方 API。Multiverse Computing 最低，为 41%，其次是 Bitdeer，为 50%。
