连续批处理

连续批处理（Continuous Batching / Iteration-level Scheduling）是现代 LLM 推理引擎（如 vLLM、TGI）的核心调度机制。不同于传统按请求粒度等待全 Batch 结束的静态批处理，连续批处理在每个生成迭代（Token Step）动态插入新到达的请求并移出已完成生成的请求，消除不同生成长度造成的 GPU 算力闲置，极大提升吞吐量。