DeepSeek 开源 DeepInfer 推理框架

原标题：DeepSeek just open-sourced its inference engine

88AI 研判分

核心综述

DeepSeek 正式开源其生产级高性能推理框架 DeepInfer，支持离线大规模服务。该框架集成了 FlashMLA、MoE EP+EPLB 并行策略及 DSpark 验证等前沿优化技术，旨在提升 DeepSeek-V4.1-Flash 等模型的推理效率与确定性。

报道全文原始报道全文

本文目录9 个章节

DeepInfer

DeepInfer 是驱动 DeepSeek 大规模生产服务的高性能推理框架。本次开源版本提供了离线推理功能，并包含大规模服务所需的核心特性。

支持的模型：

DeepSeek-V4.1-Flash

支持的特性：

优化的内核、模型及采样器运行时
并行策略：Attention DP / 平衡 CP，MoE EP + EPLB
DSpark 与基于置信度的调度验证
SWA 有界重放（Bounded Replay）
异步调度（零开销批次调度器）
批次不变性推理（Batch-invariant inference）
确定性采样
结构化输出

<details> <summary>特性详情与配置</summary>

优化的内核： FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect，以及自定义的 TileLang 内核。
DSpark 与基于置信度的调度验证： 利用草稿 token 加速解码，并使用置信度估计来调度验证过程。设置 DEEPINFER_ENABLE_MTP_VARLEN=1；DEEPINFER_USE_NEXTN_DECODE 用于控制最大草稿长度（默认值：5）。
解码器 SWA 有界重放： 通过仅重放有界的后缀部分，减少解码器的预填充（prefill）工作量。对于默认的 V4.1 设置，请配置 DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compact 和 DEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140；保留的后缀必须覆盖 SWA 窗口加上最大回溯长度。
异步调度： 将 CPU 批次调度与设备执行重叠进行。默认启用。
批次不变性推理： 确保在不同批次组成下模型结果保持一致。通过设置 DEEPINFER_BATCH_INVARIANT=1 启用（仅限 NVIDIA 硬件）。
确定性采样： 对于相同的输入 token 和采样参数，产生完全一致的输出。设置 DEEPINFER_BATCH_INVARIANT=1 DEEPINFER_ENABLE_MTP_VARLEN=0，并向 SamplingParams 传递固定的 seq_seed（仅限 NVIDIA 硬件）。
结构化输出： 将生成内容约束为正则表达式、JSON Schema 或 EBNF 语法。向 SamplingParams 传递 so_args={"schema_type": ..., "schema": ...}；参见示例。

</details>

支持的硬件：

NVIDIA SM100 GPU
华为昇腾 950 NPU

构建完整推理服务所需的组件（未包含在本次发布中）：

KV Cache 系统
VE/Prefill/Decode 分离架构（所需的核心引擎功能已实现）
Prefill 和 Decode 阶段在数据并行副本间的负载均衡

快速开始

前置条件

Linux
GCC >= 13.0
Python 3.12
CUDA 13（仅 NVIDIA）
CANN 9.2（仅 Ascend）

从源码构建

在构建 DeepInfer 之前，请创建并激活一个空的 Python 3.12 环境。

BASH

# 对于 Ascend 平台，请将 `nvidia` 替换为 `ascend`
# 请在运行 DeepInfer 的环境中保持该变量导出
export DEEPINFER_ACCELERATOR=nvidia
./build.sh

离线推理

默认检查点 deepseek-ai/DeepSeek-V4.1-Flash-1017 会在首次运行时下载到 Hugging Face 缓存中；若要使用本地副本运行，请设置 DEEPINFER_HF_MODEL_DIR=/path/to/DeepSeek-V4.1-Flash-1017。

BASH

python examples/offline_inference.py

详情参见 examples。

性能基准测试

Prefill	Decode

Prefill 测试在 4 张 SM100 GPU 上进行，Decode 测试在 64 张 GPU 上进行——均位于同一 Scale-up 域内。如需复现基准测试结果，请参阅 run_sweep.sh。

评估基准测试

参见 eval/README.md。

许可证

DeepInfer 采用 Apache License 2.0 发布。详情参见 LICENSE。

致谢

DeepInfer 最初主要基于 vLLM 构建，并从 SGLang 和 TensorRT-LLM 中获得了额外灵感。感谢这些项目的开发者。

引用

BIBTEX

@misc{deepinfer2026,
  title = {DeepInfer: High-performance, large-scale inference framework for DeepSeek models},
  author = {DeepSeek-AI},
  year = {2026},
  publisher = {GitHub},
  howpublished = {\url{https://github.com/deepseek-ai/DeepInfer}},
}