vLLM 官方博客T1·68 分
Buoyant 开源 Kinference：vLLM 与 K8s 推理控制平面
原标题：Introducing Kinference: An Open Source Inference Control Plane for vLLM and Kubernetes
- Kinference 作为 vLLM 的控制平面，简化了在 Kubernetes 上部署大规模推理平台的复杂性。
- 内置令牌速率限制、租户用量计费及推理策略管理，满足企业级多租户需求。
- 实测数据显示其在共享前缀和多轮对话场景下，有效吞吐量（goodput）相比传统 kube-proxy 方案提升显著。