术语slug: kv-cache-aware-routing

KV 缓存感知路由

KV Cache-Aware Routing

依据实例上 KV 缓存前缀命中情况与负载调度请求的推理路由策略

收录情报动态

共 1 篇 · 第 1/1 页
AWS Machine Learning BlogT1·算力与基建
62 分
SageMaker 实时端点新增 KV 缓存感知路由

Amazon SageMaker AI 为实时推理端点推出 KV 缓存感知路由策略,依据模型容器上报的缓存状态,将请求优先调度至已缓存相同前缀且负载较低的实例,从而降低多轮对话、长共享提示词与 RAG 场景的首 token 延迟。该功能通过一个环境变量与端点配置中的 KV_AWARE 路由策略即可开启,客户端 API 无需改动。