探索索引

前缀缓存

一种系统级优化策略,允许不同请求共享相同的前缀部分(如 System Prompt)的计算结果,大幅减少重复预填充阶段的算力消耗。

暂时没有与该实体关联的公开内容。

前缀缓存 | Today for AI