IT之家 · 智能时代T2·开源与评测
78 分
阶跃星辰正式开源 Step 5 Preview 模型权重,支持 vLLM、SGLang 及 Transformers 部署。华为昇腾、沐曦、壁仞科技及摩尔线程宣布提供 Day-0 首发支持,其中昇腾基于 Atlas 950 SuperPoD 液冷超节点实现了针对万亿参数大模型的高效推理优化,性能持平海外先进算力。
高吞吐量和内存效率的大语言模型服务引擎
阶跃星辰正式开源 Step 5 Preview 模型权重,支持 vLLM、SGLang 及 Transformers 部署。华为昇腾、沐曦、壁仞科技及摩尔线程宣布提供 Day-0 首发支持,其中昇腾基于 Atlas 950 SuperPoD 液冷超节点实现了针对万亿参数大模型的高效推理优化,性能持平海外先进算力。
Hugging Face 推出通过 `huggingface_hub` CLI 在 HF Jobs 上一键启动私有、OpenAI 兼容的 vLLM 推理端点的新功能。该方案无需配置服务器或 Kubernetes,按秒计费,适合快速测试、评估和批量生成场景,与面向生产环境的 Inference Endpoints 形成互补。
智谱 AI 正式发布并开源轻量级 OCR 模型 GLM-OCR,以仅 0.9B 的参数规模在 OmniDocBench V1.5 中取得 94.6 分的 SOTA 成绩。该模型针对手写体、复杂表格及代码等高难场景深度优化,支持 vLLM/SGLang 部署,显著降低算力开销,为边缘计算和高并发业务提供高效解决方案。
Hugging Face TRL 库引入共置 vLLM 架构以优化大模型训练与推理流程。该更新旨在通过共享 GPU 资源减少显存碎片化,提升整体计算利用率。目前仅基于标题可知其方向,具体实现细节、性能基准数据及适用场景尚不明确。