Prefix Cache

前缀缓存（Prompt Prefix Caching）指推理服务引擎（如 vLLM、SGLang）在显存中缓存跨请求共享的静态 Prompt 前缀（如长系统提示词、固定工具 Schema 注册表或 RAG 公共背景）对应的 KV 状态。当新请求命中相同前缀时可直接复用计算结果，大幅缩短首 Token 响应时间（TTFT）并节省算力。