探索索引

解码上下文并行

在解码阶段将 KV 缓存按 Token 维度分片存储于不同设备或内存层级,以缓解显存压力并支持超长上下文生成。

暂时没有与该实体关联的公开内容。