Google Cloud API Gateway Adds Streaming for Real-Time AI Apps
Google Cloud API Gateway has entered public preview for streaming, supporting SSE, WebSocket and gRPC so streaming endpoints can run behind the gateway while retaining auth, API key enforcement and observability. Aimed at streamed model responses, multi-step agent workflows and interactive sessions, it pairs with model routing to dispatch requests to Gemini, Claude or gpt-oss via a single OpenAI-compatible endpoint.
Related Entities
Full Report
谷歌宣布公开预览 API Gateway 流式处理功能,将传统的请求-响应模型扩展至需要实时通信的应用程序。据谷歌称,这对于提供流式模型响应、多步骤代理工作流和交互式会话的 AI 应用尤为重要。
这项新功能使流式端点能够在 API Gateway 背后运行,同时保留了现有的网关策略和安全控制措施,从而解决了之前存在的一项限制:
迄今为止,在 API Gateway 中构建这类体验的开发人员都不得不做出一个两难的选择:要么将 API Gateway 部署在 API 前端并放弃流式传输,要么让流式传输端点绕过网关,从而放弃身份验证、API 密钥强制执行以及可观测性——而正是这些特性,才使得网关从一开始就变得不可或缺。
API Gateway 支持多种流式传输模式,包括服务器发送事件(SSE)、分块传输编码和 HTTP 响应流式传输、WebSockets 以及 gRPC。流式连接最多可以保持打开状态一小时,此后如果需要继续通信,客户端就必须建立新的连接。
新版本引入了流式传输支持,而且无需更改现有的 API 规范,也无需使用特定的 API、扩展或注解。谷歌强调,所有现有的 API 配置和功能都将照常运行,包括 API 密钥强制执行、JWT 验证、后端服务账户身份验证、Cloud Logging 和 Cloud Monitoring 集成,以及路径模板和请求路由。
这个新版本的另外一项优势是引入了可预测的网关主机名。此前,网关主机名包含一个生成的哈希值,而且只能在网关创建之后才能确定。现在,它们遵循一种确定性的格式:GATEWAY_ID-PROJECT_NUMBER.REGION.gateway.dev,这使得开发人员能够在创建资源之前就对其进行引用和配置。
谷歌强调了流式传输对 AI 应用的重要性。在这些应用中,模型响应是逐步生成的,而非以单个完整的响应返回。借助这一新功能,开发者将能够实时地流式传输模型响应,在多步骤任务中更新代理进度,支持工具调用协议和与远程 MCP 服务器的连接,并处理交互式 AI 应用。
API Gateway 还支持模型路由功能,提供一个兼容 OpenAI 的单一端点,可以根据请求负载中的模型字段,将请求路由至 Gemini、Claude 或 OpenAI gpt-oss 模型。
模型路由与流式传输相结合,意味着客户端可以获得一个熟悉的、基于标准的流式传输接口,同时你仍然可以集中控制哪些模型可供访问、由谁访问以及遵循何种策略。
针对谷歌的这份公告,X 平台用户 emildrops 指出了两个重要的局限性。首先,“现有网关无法就地切换”;其次,“延迟衡量的是整个数据流,而非首字节到达时间……因此,延迟图表可能会因非故障原因而显得异常”。同样,LinkedIn 用户 Ehsan Elahi Zaheer 也指出:
监控也需要谨慎:网关请求延迟指标衡量的是数据流持续时间,而非“首字节到达时间”。一张延迟图表可能掩盖了截然不同的用户体验。
在预览期间,开发者必须在创建网关时通过指定 --enable-streaming 命令行标志显式地启用这项新功能。
声明:本文为 InfoQ 翻译,未经许可禁止转载。
原文链接:https://www.infoq.com/news/2026/11/gcp-api-gateway-streaming/