术语slug: vllm

vLLM

高吞吐量和内存效率的大语言模型服务引擎

收录情报动态

共 4 篇 · 第 1/1 页
IT之家 · 智能时代T2·开源与评测
78 分
阶跃星辰开源 Step 5 Preview 权重:华为昇腾等国产芯片实现 Day-0 适配与万亿参数推理优化

阶跃星辰正式开源 Step 5 Preview 模型权重,支持 vLLM、SGLang 及 Transformers 部署。华为昇腾、沐曦、壁仞科技及摩尔线程宣布提供 Day-0 首发支持,其中昇腾基于 Atlas 950 SuperPoD 液冷超节点实现了针对万亿参数大模型的高效推理优化,性能持平海外先进算力。

Hugging Face BlogT1·开发与工程
48 分
Hugging Face Jobs 支持一键部署 vLLM 服务

Hugging Face 推出通过 `huggingface_hub` CLI 在 HF Jobs 上一键启动私有、OpenAI 兼容的 vLLM 推理端点的新功能。该方案无需配置服务器或 Kubernetes,按秒计费,适合快速测试、评估和批量生成场景,与面向生产环境的 Inference Endpoints 形成互补。

智谱 AI 研究T1·基座大模型
78 分
智谱开源 GLM-OCR:0.9B 参数登顶文档解析 SOTA

智谱 AI 正式发布并开源轻量级 OCR 模型 GLM-OCR,以仅 0.9B 的参数规模在 OmniDocBench V1.5 中取得 94.6 分的 SOTA 成绩。该模型针对手写体、复杂表格及代码等高难场景深度优化,支持 vLLM/SGLang 部署,显著降低算力开销,为边缘计算和高并发业务提供高效解决方案。

Hugging Face BlogT1·开发与工程
35 分
TRL 集成 vLLM 提升推理效率

Hugging Face TRL 库引入共置 vLLM 架构以优化大模型训练与推理流程。该更新旨在通过共享 GPU 资源减少显存碎片化,提升整体计算利用率。目前仅基于标题可知其方向,具体实现细节、性能基准数据及适用场景尚不明确。