AWS Machine Learning BlogT1·算力与基建
62 分
Amazon SageMaker AI 为实时推理端点推出 KV 缓存感知路由策略,依据模型容器上报的缓存状态,将请求优先调度至已缓存相同前缀且负载较低的实例,从而降低多轮对话、长共享提示词与 RAG 场景的首 token 延迟。该功能通过一个环境变量与端点配置中的 KV_AWARE 路由策略即可开启,客户端 API 无需改动。
KV Cache-Aware Routing
依据实例上 KV 缓存前缀命中情况与负载调度请求的推理路由策略
Amazon SageMaker AI 为实时推理端点推出 KV 缓存感知路由策略,依据模型容器上报的缓存状态,将请求优先调度至已缓存相同前缀且负载较低的实例,从而降低多轮对话、长共享提示词与 RAG 场景的首 token 延迟。该功能通过一个环境变量与端点配置中的 KV_AWARE 路由策略即可开启,客户端 API 无需改动。