AI 推理服务商硅基流动的港股上市申请已获中国证监会备案受理。该公司定位为独立生态词元(Token)供应商,通过自研引擎统一调度异构算力支持主流大模型,注册用户超千万,年内融资近 29 亿元。
推理引擎
Inference Engine
负责加载模型并执行前向计算以生成输出的软件系统
收录情报动态
DeepSeek 在 PyTorch Conf 上发布开源推理引擎 DeepInfer,声称单集群日处理量达 155T tokens。该工具旨在挑战闭源基础设施垄断,提供高吞吐、低延迟的 SOTA 级开源替代方案。
DeepSeek 公开其自研推理引擎 DeepInfer,并罕见披露运营数据:单一集群日均处理 155 万亿 Token,每 GPU 小时产生 38 美元收入。该引擎支持 NVIDIA Blackwell 与华为 Ascend 芯片,若按 B300 租赁成本估算,毛利率可达约 82%。
DeepSeek 公开其推理引擎 DeepInfer 的运营数据,显示单一集群日均处理 155 万亿 Token,非高峰时段每 GPU 小时产生 38 美元收入。若按 B300 租赁成本估算,毛利率可达约 82%,且该引擎同时支持 NVIDIA Blackwell 与华为 Ascend 芯片。
初创公司 Maxwell 推出一种介于传统代码执行与专用硬件之间的新型计算范式,旨在让代码具备“思考”能力。该方案挑战了当前 LLM 推理引擎中软件与硬件数据流分离的架构,认为其不可扩展且非最优。目前该项目已开放早期访问权限。
开发者 Niko1221 开源 Strata 推理引擎,支持在 12GB 及以上显存的消费级显卡(如 RTX 5070)上运行量化的 Qwen3.8-Flash-Next 模型。该方案实现了 1250 亿参数大模型在低显存设备上的高效部署,实测生成速度达 94 词元/秒。
Hugging Face 宣布其 transformers 库的 vLLM 后端现已实现与自定义 vLLM 实现相当甚至更快的推理速度。模型作者无需编写任何优化代码,即可直接利用现有的 transformers 实现获得极速推理体验。这一更新大幅降低了高性能推理部署的技术门槛。
SGLang 宣布集成 Hugging Face Transformers 作为后端支持。该更新旨在提升模型兼容性,但具体性能指标与实现细节未在标题中披露。
TNG Technology Consulting 发布系列文章首篇,深入剖析 vLLM 和 TGI 等推理引擎中的请求队列机制。文章对比了不同调度策略对 GPU 资源竞争的影响,旨在优化多用户并发场景下的 LLM 服务性能。
Intel 推出结合 Optimum-Intel 和 OpenVINO GenAI 的模型优化与部署方案。该工具链旨在简化大语言模型在 Intel 硬件上的推理加速流程,提供标准化的集成路径。