术语slug: inference-engine

推理引擎

Inference Engine

负责加载模型并执行前向计算以生成输出的软件系统

收录情报动态

共 11 篇 · 第 1/2 页
Hacker News AIT2·算力与基建
78 分
Maxwell 发布 提出代码与硬件间的新型计算模型

初创公司 Maxwell 推出一种介于传统代码执行与专用硬件之间的新型计算范式,旨在让代码具备“思考”能力。该方案挑战了当前 LLM 推理引擎中软件与硬件数据流分离的架构,认为其不可扩展且非最优。目前该项目已开放早期访问权限。

IT之家 · 智能时代T2·开发与工程
68 分
Strata 引擎开源:12GB 显存跑 Qwen3.8-125B

开发者 Niko1221 开源 Strata 推理引擎,支持在 12GB 及以上显存的消费级显卡(如 RTX 5070)上运行量化的 Qwen3.8-Flash-Next 模型。该方案实现了 1250 亿参数大模型在低显存设备上的高效部署,实测生成速度达 94 词元/秒。

Hugging Face BlogT1·开发与工程
68 分
Hugging Face 优化 vLLM 后端:原生速度免代码

Hugging Face 宣布其 transformers 库的 vLLM 后端现已实现与自定义 vLLM 实现相当甚至更快的推理速度。模型作者无需编写任何优化代码,即可直接利用现有的 transformers 实现获得极速推理体验。这一更新大幅降低了高性能推理部署的技术门槛。

Hugging Face BlogT1·开发与工程
48 分
TNG 解析 LLM 请求队列调度策略

TNG Technology Consulting 发布系列文章首篇,深入剖析 vLLM 和 TGI 等推理引擎中的请求队列机制。文章对比了不同调度策略对 GPU 资源竞争的影响,旨在优化多用户并发场景下的 LLM 服务性能。