缓存输入令牌

在大模型推理中，对重复出现的上下文片段进行存储以加速后续处理并降低成本的机制。