OpenAI Responses API 引入 WebSocket,智能体工作流提速 40%
OpenAI 在 Responses API 中引入 WebSocket 支持,将 Codex 等智能体的端到端工作流延迟降低 40%。随着模型推理速度提升至近 1000 tokens/s,API 服务开销成为瓶颈,WebSocket 通过减少 HTTP 握手与往返次数优化了工具调用循环。这一改进显著提升了开发者构建实时、高频交互智能体的体验。
报道正文
本文目录4 个章节
当你要求 Codex 修复一个 bug 时,它会扫描你的代码库以查找相关文件,读取这些文件以构建上下文,进行编辑,并运行测试以验证修复是否有效。在底层,这意味着数十次往返的 Responses API 请求:确定模型的下一步行动,在你的计算机上运行工具,将工具输出发送回 API,然后重复此过程。
所有这些请求累积起来可能导致用户等待 Codex 完成复杂任务的时间长达数分钟。从延迟的角度来看,Codex 代理循环的大部分时间花在三个主要阶段:API 服务处理(用于验证和处理请求)、模型推理以及客户端时间(运行工具和构建模型上下文)。推理阶段是指模型在 GPU 上运行以生成新 token 的过程。过去,在 GPU 上运行 LLM 推理是代理循环中最慢的部分,因此 API 服务的开销很容易被隐藏。随着推理速度的提升,代理执行过程中累积的 API 开销变得显著得多。
在这篇文章中,我们将解释我们如何将使用 API 的代理循环端到端速度提升了 40%,让用户能够体验到推理速度从每秒 65 个 token 跃升至近每秒 1,000 个 token 的提升。我们通过缓存、消除不必要的网络跳数、改进安全栈以快速标记问题,以及——最重要的是——建立一种与 Responses API 保持持久连接的方式来实现这一目标,从而取代一系列同步 API 调用。
当 API 成为瓶颈
在 Responses API 中,之前的旗舰模型如 GPT‑5 和 GPT‑5.2 的运行速度约为每秒 65 个 token (TPS)。为了发布快速编码模型 GPT‑5.3‑Codex‑Spark,我们的目标是实现数量级的提升:超过每秒 1,000 个 TPS,这得益于专为 LLM 推理优化的 Cerebras 硬件。为了确保用户能体验到这款新模型的真实速度,我们必须减少 API 开销。
大约在 2025 年 11 月,我们在 Responses API 上启动了一次性能冲刺,针对单次请求的关键路径延迟进行了多项优化:
- 在内存中缓存已渲染的 token 和模型配置,以跳过多轮响应中昂贵的 tokenization 和网络调用
- 通过消除对中间服务(例如图像处理分辨率)的调用并直接调用推理服务本身来减少网络跳数延迟
- 改进我们的安全栈,以便我们可以运行某些分类器来更快地标记对话
凭借这些改进,我们实现了首字延迟(TTFT)近 45% 的提升——这反映了 API 的响应灵敏度——但对于 GPT‑5.3‑Codex‑Spark 而言,速度仍然不够快。即便有了这些优化,Responses API 的开销相对于模型的速度来说依然过大;也就是说,用户必须等待运行我们 API 的 CPU 处理完毕后,才能使用提供模型服务的 GPU。
更深层的问题在于架构结构:我们将每个 Codex 请求视为独立单元,在每次后续请求中都会重新处理对话状态及其他可复用的上下文。即使对话的大部分历史并未改变,我们仍需为与完整历史记录相关的工作付出代价。随着对话变长,这种重复处理的成本变得越来越高昂。
构建持久连接
为了优化设计,我们重新审视了传输协议:能否保持持久连接并缓存状态,而不是为每个后续请求通过 HTTP 建立新连接并发送完整的对话历史?我们的思路是仅发送需要验证和处理的新信息,并在连接的生命周期内将可复用的状态缓存在内存中。这将减少因冗余工作带来的开销。
我们考虑了几种不同的方案,包括 WebSockets 和 gRPC 双向流式传输。最终我们选择了 WebSockets,因为作为一种简单的消息传输协议,用户无需更改 Responses API 的输入和输出格式。它对开发者友好,且能以极小的干扰融入我们现有的架构。
第一个 WebSocket 原型改变了我们对 Responses API 延迟极限的认知。Codex 团队中一位对 API 技术栈有着深厚专长的工程师,通过让一个 Codex agent 通宵运行,搭建起了这个原型。
在该原型中,agent 式的执行过程被建模为一个长时间运行的 Response。利用 asyncio 特性,Responses API 会在采样循环中生成工具调用后异步阻塞,并向客户端发送一个 response.done 事件。在执行完工具调用后,客户端会发送一个包含工具结果的 response.append 事件,从而解除采样循环的阻塞,让模型继续运行。
这里的类比是将本地工具调用视为托管工具调用。当模型调用网络搜索时,推理循环会阻塞、调用网络搜索服务,并将服务响应放入模型上下文中。在我们的设计中,我们做了同样的事情;但不同的是,我们没有调用远程服务,而是通过 WebSocket 将模型的工具调用发送回客户端。当客户端响应时,我们将客户端的工具调用响应放入上下文并继续采样。
这种设计极其有效,因为它消除了智能体(agent)运行过程中重复的 API 工作。我们可以一次性完成预推理工作,暂停以执行工具,并在最后一次性完成后推理工作。
不幸的是,这导致了一个不那么熟悉且更复杂的 API 形态。我们希望开发者能够直接接入 WebSocket 支持,而无需围绕新的交互模式重写他们的 API 集成。
在保持 API 熟悉度的同时实现增量式技术栈
对于发布的版本,我们切换回了熟悉的形态:继续使用 response.create 并保持相同的请求体,并使用 previous_response_id 从上一次响应的状态延续对话上下文。
在 WebSocket 连接上,服务器维护一个连接作用域的、内存中的先前响应状态缓存。当后续的 response.create 包含 previous_response_id 时,我们从缓存中获取该状态,而不是从头重建整个对话。
该缓存状态包括:
- 先前的
response对象 - 之前的输入和输出项
- 工具定义和命名空间
- 可复用的采样工件,例如之前渲染的 token
通过复用内存中的先前响应状态,我们实现了多项重大优化:
- 使部分安全分类器和请求验证器仅处理新输入,而非每次处理完整历史
- 维护一个内存中的已渲染 token 缓存,并向其追加内容,从而跳过不必要的 tokenize 过程
- 跨请求复用成功的模型解析/路由逻辑
- 将非阻塞的后推理工作(如计费)与后续请求重叠进行
目标是尽可能接近最小开销的原型,同时采用开发者已经理解并基于其构建的 API 形态。
树立速度新标杆
经过两个月的冲刺开发 WebSocket 模式后,我们与几家关键的编码代理初创公司推出了 Alpha 版本,以便他们将其集成到自身基础设施中并安全地提升流量。Alpha 用户反响热烈,报告称其代理工作流性能提升了 高达 40%。鉴于积极的 Alpha 反馈,我们已准备好正式发布。
发布后的效果立竿见影。Codex 迅速将大部分 Responses API 流量切换至 WebSocket 模式,显著降低了延迟。对于 GPT‑5.3‑Codex‑Spark,我们达到了 1,000 TPS 的目标,并观察到高达 4,000 TPS 的突发流量,这表明 Responses API 能够跟上真实生产环境中更快的推理速度。这一影响在开发者社区中也迅速显现:
-
Codex 迅速将大部分流量迁移至 WebSockets。运行最新模型(如 GPT‑5.3‑Codex、GPT‑5.4 及更高版本)的 Codex 用户均受益于 WebSocket 模式带来的速度提升。
-
Cline 的多文件工作流速度提升了 39%。
-
Cursor 中的 OpenAI 模型速度提升至多 30%。
WebSocket 模式是自 2025 年 3 月 Responses API 发布以来最重要的新功能之一。通过 OpenAI API 团队与 Codex 团队的紧密协作,我们在短短几周内便完成了从构想到生产环境部署的全过程。它不仅大幅改善了代理部署的延迟,还满足了构建者日益增长的需求:随着模型推理速度的加快,围绕推理的服务和系统也必须同步提速,才能将这些性能增益真正传递给用户。