KV Cache

键值缓存（Key-Value Cache，KV Cache）在大模型自回归解码（Autoregressive Decoding）过程中，将已计算历史 Token 的注意力键（Key）和值（Value）张量持久保存在显存中，避免每个新生成 Token 都对历史全量上下文进行重复前向计算。KV Cache 显著降低推理延迟，但随并发量与上下文长度呈线性增长，成为显存容量的主要瓶颈。