Cerebras 推出 GPU 与晶圆级引擎分离式推理方案

原标题:Cerebras Disaggregated Inference
78AI 研判分

Cerebras 将分离式推理投入生产:GPU 负责 prefill,晶圆级引擎负责 decode,在保持同等超快速度下每兆瓦吞吐提升 5 倍。该方案已在其推理云上线,并开放给基础设施合作伙伴在自有数据中心部署,配合 CS-4 与 700MW 数据中心规划进一步扩张超快推理产能。

报道正文

本文目录4 个章节

我们已部署 Cerebras 晶圆级引擎与 GPU,以大规模提供闪电般快速的 token

世界渴望超高速 token。2026 年,Cerebras 在自有推理云和合作伙伴渠道上都看到了对快速推理的旺盛需求。为满足需求,我们开始开发分离式推理:由 GPU 处理提示处理(prefill),由 Cerebras 系统负责输出生成(decode)。

该方案现已投入生产,在保持 Cerebras 同等超高速的前提下,每兆瓦可交付的 token 数量提升至五倍。

我们现在可以通过 Cerebras Inference Cloud 提供更多超高速 token,以满足市场需求。基础设施合作伙伴也可以利用 Cerebras 分离式方案,在自有数据中心内获得更多超高速 token。

结合我们近期发布的 CS-4、大幅扩展的制造能力,以及计划中的 700MW 数据中心容量,分离式推理将助力 Cerebras 及合作伙伴在 2027 年及以后提供更多超高速 token。

在本篇博客中,我们将介绍:

  • 对更多超高速推理容量的需求
  • 为什么 Cerebras 在 decode 上具有优势
  • Cerebras 分离式推理的生产结果
  • 面向基础设施合作伙伴的 Cerebras 分离式推理

对更多快速推理容量的需求

Muse、Copilot 和 Codex 等智能体应用正在快速扩展,需要高度交互式的推理来保持用户参与度。在电力受限的环境中满足这些应用日益增长的需求,我们的行业必须以能让这些应用真正有用的响应速度,显著提升每兆瓦的推理容量。

来源:Goldman Sachs Research,《AI Agents Forecast to Boost Tech Cash Flow as Usage Soars》,2026 年 5 月 20 日;Goldman Sachs 数据中心容量估算,据 Investing.com 报道,2026 年 11 月 6 日。

这就是 Cerebras 投资分离式架构的原因。将用于提示处理的 prefill 加速器与用于响应生成的 Cerebras 系统配对,可在保持 Cerebras 超高速生成速度的同时,提高每兆瓦的 token 吞吐量。对推理服务提供商而言,这意味着在相同电力预算下拥有更多容量服务客户,并具备更高的收入潜力。

为什么 Cerebras 在 decode 上具有优势

一次推理请求包含两个主要阶段。提示处理(称为 prefill)负责处理输入并生成中间模型状态。响应生成(称为 decode)则利用该状态生成输出 token。拆分推理工作负载的方式有很多,包括 draft–target、attention–FFN 等,但当目标是高度交互式推理时,将 prefill 与 decode 分离具有独特的优势。

Decode 是自回归的。这意味着模型一次生成一个 token,并将每个已生成的 token 作为输入来生成下一个 token。每一步都意味着需要再次从内存中读取模型数据,因此内存带宽至关重要。在超高速推理领域,以 SRAM 为中心的芯片具有优势,因为它们可以将这些数据保留在片上,从而以更快的速度读取。Cerebras 将这一思路推向晶圆级,在单颗芯片上集成数十 GB 的 SRAM 和每秒数十 PB 的内存带宽——分别是典型 GB300 GPU 的 350 倍 SRAM 容量和 5,400 倍内存带宽。这使得 Cerebras System 能够将更多并发请求和模型层直接放在芯片上,从而使 CS-3、CS-4 和 CS-5 在具有吸引力的吞吐量下实现超高速。

Cerebras 分离式推理生产结果

将专为超高速 decode 优化的 Cerebras 系统与非常适合 prefill 计算需求的加速器(例如 AMD Instinct GPU)配对,可以在大规模下提供海量超高速推理能力。在 Cerebras Inference Cloud 的生产部署中,AMD Instinct GPU 处理提示,Cerebras CS-3 系统生成响应。将提示处理转移到 GPU 使 Cerebras 系统能够将其服务容量专门用于响应生成。在我们实测的生产部署中,这种组合实现了仅使用 CS-3 配置每兆瓦吞吐量的 5 倍,且 token 生成速度没有任何损失。

来源:2025 年 11 月 14 日通过 Cerebras Inference Cloud 共享的 GPT-OSS-120B 端点,在启用分离式推理前后的每兆瓦吞吐量,已按聚合推理基线(1×)归一化。

我们计划到 2027 年底,在 Cerebras Inference Cloud 和合作伙伴部署中,将分离式推理广泛部署到数百兆瓦的规模。我们的目标是增加可供客户使用的超高速推理容量。

面向基础设施合作伙伴的 Cerebras 分离式推理

Cerebras 的解耦推理解决方案同样是为便于我们的合作伙伴采用而构建的。基础设施合作伙伴可以基于 Cerebras 提供的参考架构部署解耦推理集群,将自选的预填充加速器与 Cerebras 系统共置于统一网络中。在软件集成方面,合作伙伴既可以集成 Cerebras 端到端解耦软件栈,也可以集成仅解码 SDK。

端到端解耦软件栈最适合希望优化上市时间的合作伙伴。它由以下部分组成:

  • 一个解耦推理框架,用于在预填充池和解码池之间路由请求,并管理副本容量与健康状态。
  • 一个预填充引擎,使用 vLLM 或 SGLang 等开源推理引擎处理提示词。
  • 一个 Cerebras 解码引擎,用于在 Cerebras 系统上生成响应。
  • KV Portal 软件,这是一个通过 RDMA 在预填充引擎和解码引擎之间传输中间模型状态(包括键值缓存)的接口。

仅解码 SDK 最适合希望优化控制力的合作伙伴。借助仅解码 SDK,合作伙伴可以将自己的推理框架和预填充引擎接入 Cerebras 解码引擎和 KV Portal 软件。此外,仅解码 SDK 还提供开发辅助工具,例如模拟的 Cerebras 解码副本,以及与开源解耦推理框架和预填充引擎的参考集成。

包括 Amazon Web Services、Fireworks AI、Gimlet Labs 和 General Compute 在内的早期访问合作伙伴,已经可以在其部署中访问 Cerebras 解耦解决方案。我们现在正将访问权限扩展到更多希望大规模为客户带来超快推理的合作伙伴。

如需更详细地讨论结果、解决方案或部署机会,请通过此处联系我们。