TNG 解析 LLM 请求队列调度策略
TNG Technology Consulting 发布系列文章首篇,深入剖析 vLLM 和 TGI 等推理引擎中的请求队列机制。文章对比了不同调度策略对 GPU 资源竞争的影响,旨在优化多用户并发场景下的 LLM 服务性能。
报道正文
本文目录11 个章节
高效请求队列管理 – 优化 LLM 性能
Benjamin Merkel BM-TNG tngtech
并行地为众多应用程序和用户提供服务是一项挑战,因为它们都在争夺有限的 GPU 资源。本文是 LLM 性能系列文章的第一篇,基于我们在 TNG Technology Consulting GmbH 托管自部署 LLM 的经验。在第一部分中,我们将重点讨论排队的影响,并探讨不同的调度策略。
起点:裸推理引擎
像 vLLM 或 HuggingFace TGI 这样的推理引擎由以下部分组成:
- 一个 worker(工作进程),负责执行计算请求中下一个 token 的实际工作
- 一个 queue(队列),当请求首次到达时会被添加到其中
- 一个 scheduler(调度器),从队列中取出请求并将其移动到 worker
为什么我们需要在这里使用队列?因为与为单个请求独立计算相比,以 batch(批次)方式在 GPU 上进行计算具有更高的性能和资源效率。这个后端队列允许调度器选取多个请求并将它们放入同一个 batch 中进行处理。
请注意,通常每个推理引擎仅服务于单个模型,而我们会并行运行多个部署以支持不同的模型。
问题:“重度用户”可能会阻塞其他用户
当单个用户“A”发送大量请求时,他们会迅速填满队列。随后发送请求的其他用户(“B”和“C”)将被阻止使用该模型(直到“A”的所有请求都被处理完毕)。请注意,该图示侧重于将 vLLM 作为推理引擎的情况,但这个问题更为普遍,也适用于其他后端。
解决方案:公平调度
在 TNG 中,用户不会直接向 vLLM 后端发送请求,而是发送到 API Server(我们称之为 "LLM-Server")。在这里,我们可以为每个用户(以及模型)设置独立的队列,并采用一个非 FIFO(先进先出)的调度器,该调度器以轮询(round-robin)方式遍历所有用户队列。这实现了某种 "公平调度":例如,在图中,用户 B 和 C 稍晚一些发送请求,此时用户 A 的第一个请求已经被调度。当时,用户 A 的三个请求已经等待了一段时间,但用户 C 只需等待用户 A 的一个请求完成即可。
核心思想是:在我们的自有组件中优先处理不同用户的请求,而不是在推理后端! 通常,一旦请求被发送到推理引擎,就无法改变其顺序,因此必须在请求仍处于 LLM-Server 阶段时将其按正确顺序排列,因为在此处我们拥有完全的控制权。
可能的扩展方向
你可以考虑不同的维度来定义什么是“公平”调度。在上述示例中,任何仅有一个请求的新用户都应在任何用户连续获得两次或更多次服务之前得到响应。这是在请求数量层面的公平性。但你也可以关注 处理时间:一个请求会让后端忙碌多久?长提示词(prompts)和长生成内容会在更长时间内“阻塞”其他用户对 LLM 的使用,因此也许较短的请求应该具有优先级?不幸的是,估算生成长度非常困难。虽然有些请求设置了 max_tokens 限制,但交互式 AI 助手的典型聊天消息没有 token 限制,且生成长度可能差异巨大——从极短的生成(如“总结这段文本”)到极长的生成(如“给我讲个故事” / “编写 xyz 的所有代码”)。
根据提示词的不同,基于相似度对请求进行排序可能会带来一定收益,从而让 vLLM 最大化缓存命中率,进而提升性能。这种 KV-cache-aware routing(感知 KV 缓存的路由)最近受到了 NVIDIA Dynamo 和 AIBrix 等框架的关注。
在商业场景中,对于托管的 LLM 而言,单个请求的成本是另一个需要考虑的指标,但它也伴随着类似的挑战。
该解决方案还可以进一步扩展:不仅为每个用户(及模型)设置一个队列,而是设置具有不同优先级的多个队列。例如,像 TNG's AI Assistant 这样带有聊天界面的交互式应用应具有更高的优先级,因为如果用户在五秒内看不到任何进展,就会认为应用已崩溃。然而,那些为数十个文件和数千行代码生成代码审查的用户,则预期 LLM 请求需要花费一定时间。此外,某些用例(如通过批量 API 调度的基准测试运行)应具有极低的优先级,以免干扰其他用例,仅在系统空闲时才进行调度。
问题:后端队列缺乏背压机制
再次考虑这样一个场景:用户 A 一次性发送了大量请求,一段时间后新用户 C 加入并希望调度单个请求。如果 LLM-Server 端的调度器根据公平优先级策略将所有请求立即发送到后端,那么来自 A 的所有请求将再次在 FIFO 队列中堆积。新用户 C 将不得不等待所有先前接收到的请求处理完毕。这与没有 LLM-Server 的初始场景相比几乎没有改善。
理想情况下,你可以限制后端队列中的最大元素数量,但 vLLM 并未提供此选项。因此,我们必须动态调整 LLM-Server 端调度器向后端发送新请求的速率。这里的目标是:保持后端队列长度较短,以最小化新用户所经历的延迟。
(最简单的方法是采用静态速率限制,但这很可能导致资源利用率不足——当大多数请求都很短时尤其如此,且难以针对不同模型和负载模式进行校准。)
解决方案:获取指标
为了让 LLM-Server 能够获取后端队列长度,我们需要从 vLLM 的 /metrics 端点拉取相应的 Prometheus 指标。例如,我们的公平调度器仅允许在后端队列长度指标小于 3 时向后端发送请求。可以进一步降低该目标队列长度以缩短新用户的延迟,但这会导致批次利用率不足和效率下降——这里存在一个权衡取舍。需要注意的是,目标队列长度并不反映最大并发数;仍可能有超过 3 个请求并行处理;只要当前批次有足够空间,vLLM 就会将排队中的请求加入当前批次(即“连续批处理”)。
可能的扩展
一旦在 LLM-Server 中建立了后端队列与调度器之间的反馈循环,就可以轻松扩展用于调度决策的 vLLM 指标集合。例如,为了在 TNG 的交互式 AI 助手中提供良好的用户体验,我们追求较高的 token 生成速度(例如 >7 tokens/s,即每个 token 约 150ms),如果报告的 每输出 token 耗时指标 超过 150ms,则不再调度新的请求。
你还可以为不同的请求优先级设置不同的指标阈值。例如,对于来自批量 API 的低优先级请求,我们仅在后端队列完全为空时才调度请求:我们宁愿承担 GPU 短暂闲置的风险,也不愿导致后续高优先级请求的延迟增加。
这里还有很大的优化潜力:例如,如果你允许在后端队列长度小于 3 时进行调度,且当前指标为零,你可以立即向后端发送三个请求,而无需再次拉取指标。在最坏的情况下,这些请求都无法加入当前批次并全部进入后端队列(此时新的队列长度为 3,仍在可接受范围内)。
替代方案:后端侧优先级调度
[注:本文篇幅超长,以上为核心前篇精译,后续内容保留原文呈现]
Recently, vLLM added a priority-based scheduling option instead of sticking with FIFO. For this new feature, requests are tagged with a priority before they are sent to the backend. And vLLM would regularly check if any higher-priority request is queuing and then sort all requests by priority (both the running batch and the waiting queue). This would not only let the high-priority request literally jump the queue but even move it directly to the processed batch. The price is (aside from some overhead due to sorting) that lower priority requests would be evicted from the running batch and put back in the waiting queue again.
Can Backend-Side Priority Scheduling Replace All Queues on the LLM-Server Side?
vLLM understands the request priority as a continuous number. This does not only allow you to distinguish between default, high priority (interactive AI assistant) and low priority (batch API) but you could even make smaller decrements for every request that the user has already sent to the backend and where the response is pending. For example, users B and C send only single requests, which will have priority zero. User A sends four requests at once; the first one has priority zero, too, but the next ones will have priorities one, two, and three, and will be processed later (higher number = lower priority).
There are still some caveats:
- The backend-priority feature is only available for vLLM, not for HuggingFace TGI.
- Having a scheduler on LLM-Server side allows you to adjust the scheduling rate based on time-per-output-token. The backend-priority scheduling does not control the scheduling rate.
- The impact of frequent re-ordering of queue and batch on latencies still needs to be measured for realistic load scenarios.
Overall, backend-side priority scheduling can be a good strategy for vLLM-based systems, because it simplifies queueing logic on the upstream LLM-Server. Unfortunately, in a realistic setting you cannot get rid of the LLM-Server as an additional scheduling layer, since you need some objective instance to assign priorities to individual requests.
Summary & Outlook
Queueing and scheduling are crucial for applications with multiple users and clients of varying priorities, as they significantly impact the user experience. This is especially true in scenarios where multiple clients submit requests in parallel, benefiting from a dedicated "fair scheduling" strategy. Although backend features like priority scheduling can simplify optimization, an upstream gateway server is still necessary to fully manage these complexities.
In the next part of this blogpost series, we will shift gears and focus on the token generation in the inference engine during prefill and decode phases. In particular, we will discuss resource utilization and strategies for concurrent processing of multiple requests.



