Rohan Paul (@rohanpaul_ai) · 2026/10/20 20:13:58
DeepSeek 开源 DeepInfer 推理引擎 获 6.3K Star
DeepSeek 以 Apache 2.0 协议开源其生产级推理引擎 DeepInfer，该引擎专为 DeepSeek-V4.1-Flash 模型优化，支持 NVIDIA SM100 和华为 Ascend 950 芯片。尽管目前仅包含离线推理核心（如 DSpark 投机解码和 Bounded Replay 预填充优化），缺乏完整的服务栈组件，但其在发布 8 小时内即获得超 6300 个 GitHub Star，显示出社区对高性能底层推理技术的极高关注度。
报道全文原始报道全文
Rohan Paul (@rohanpaul_ai) · 2026-10-20 12
DeepSeek 刚刚以 Apache 2.0 许可证开源了 DeepInfer，这是其生产服务背后的推理引擎。
它在 8 小时内获得了超过 6.3K+ 星标。
该版本仅运行 DeepSeek-V4.1-Flash，支持 NVIDIA SM100 GPU 或华为昇腾 950 芯片，且涵盖离线推理而非完整的 serving stack（服务栈）。
它省略了将引擎转化为服务所需的部分：KV cache（键值缓存）系统、prefill（预填充）与 decode（解码）分离以及跨副本的负载均衡。
发布的内容是速度层，包括 DSpark，它能提前起草最多 5 个 token，并利用置信度估计来调度它们的验证。
有界重放（Bounded replay）通过仅重新计算一个 140-token 的后缀来精简 prefill，该后缀大小足以覆盖滑动注意力窗口。
配套库 deepseek-recipe 将把 Chat Completions、Responses 和 Messages 请求转换为符合官方 API 行为的 DeepSeek V4 和 V4.1 prompts。
