术语slug: scheduler

调度器

Scheduler

决定何时将队列中的请求分配给计算资源的组件

收录情报动态

共 1 篇 · 第 1/1 页
Hugging Face BlogT1·开发与工程
48 分
TNG 解析 LLM 请求队列调度策略

TNG Technology Consulting 发布系列文章首篇,深入剖析 vLLM 和 TGI 等推理引擎中的请求队列机制。文章对比了不同调度策略对 GPU 资源竞争的影响,旨在优化多用户并发场景下的 LLM 服务性能。