推理网关

位于客户端与后端模型服务之间的中间层组件，负责请求路由、负载均衡、身份验证及流量控制，确保模型推理服务的高可用与安全接入。