百度开源 ERNIE 5.5 Flash Base 280B 稀疏 MoE 基座模型

原标题:Baidu released ERNIE 5.5 Flash Base
78AI 研判分

百度发布 ERNIE 5.5 Flash Base,这是一个总参数 280B、每 token 激活 14B 的稀疏 MoE 语言模型,基于 33.5T token 从零预训练,训练上下文 128K,微调与推理支持 1M token。发布的是预训练结束、尚未经过中段与后训练的权重,定位为领域适配、指令微调与强化学习研究的通用起点。

报道正文

本文目录18 个章节

1. 引言

基础模型的价值既体现在预训练所构建的能力上,也体现在它为后续训练提供的起点上。不同的领域、推理任务和智能体应用需要不同的数据、训练目标和行为模式。在预训练结束时发布权重,可以让开发者基于已有的通用能力进行构建,并自行决定模型下一步的发展方向。

今天我们发布 ERNIE-5.5-Flash-Base,这是一个稀疏混合专家(MoE)语言模型,总参数量为 280B,每个 token 激活 14B 参数。它基于 33.5T tokens 从零开始预训练,训练上下文长度最高达 128K,并支持 1M token 的微调与推理上下文。本次发布的权重是预训练结束时的检查点,尚未经过任何中期训练或后训练,可作为领域适配、指令微调和强化学习研究的通用起点。

一个基础模型要值得在其之上进行构建,就必须在训练和运行上保持可负担的成本,因此效率从一开始就是设计目标。后续训练会反复从模型中采样,而智能体应用会带来多轮交互和长上下文,这两者都会增加计算和内存开销。因此,ERNIE 5.5 Flash 在每一个组件中都重新审视了能力与效率之间的权衡——从注意力和残差连接,到 MoE 层和输出头——并将激活计算量、KV 缓存和长上下文成本放在一起综合权衡,而非逐一单独考虑。

同样的思路也塑造了数据和训练系统。训练的每一个后续阶段都建立在预训练所提供的基础之上,因此语料库重点强调那些后期难以补充的能力,例如仓库级代码和长上下文理解。而且,高效的架构只有在能够大规模高效训练时才能真正发挥价值,因此我们将模型设计与训练系统协同设计。

我们希望本次发布能让更多开发者省去大规模预训练的成本,从而将自身资源投入到他们真正关心的能力、任务和训练方法上。

核心亮点:

  • 面向进一步训练的开放起点。 仅提供基础权重,不含中期训练或后训练,让社区可以自由探索各自的领域适配、推理与智能体训练方法。
  • 为高效进一步训练与推理而构建。 稀疏 MoE 与混合稀疏注意力在架构层面平衡了模型容量、激活计算量与长上下文开销。
  • 数据广泛,训练高效。 多样且高质量的预训练数据为后续训练奠定了均衡的基础,而与架构协同设计的训练系统则保障了大规模预训练的高效性。
  • 干净的研究基线。 仅取预训练结束时的一个检查点,便于在受控条件下比较不同训练方法,并衡量每种方法带来的增益。

2. 模型架构

ERNIE 5.5 Flash 架构:43 层主干、混合稀疏注意力、Multi-Router Latent MoE、mHC、MultiMax、ECHO 以及 R2L 分词器。 ERNIE 5.5 Flash 模型架构点击查看完整图片 ↗

ERNIE 5.5 Flash 拥有 43 个 Transformer 层,隐藏层大小为 4096,注意力头数为 64。

2.1 潜在门控稀疏注意力

混合 MLA + HCA 注意力: 大多数层只需要对久远过去有一个粗略的视图,因此每七层中只有一层使用多头潜在注意力(MLA)保留对完整上下文的 token 级访问。其余层使用重度压缩注意力(HCA):每层将每 128 个 token 压缩为一个缓存条目,然后对这些条目以及一小段最近的未压缩 token 窗口进行注意力计算。因此,HCA 层仍然能看到整个序列,但缓存的内容仅占全上下文层所需的一小部分。

层特定的头维度: 我们没有在每一层使用相同的头维度,而是根据每层注意力的开销来设定:开销低的层使用宽头,开销高的层使用较窄的头。HCA 层在压缩了 128 倍的序列上进行注意力计算,因此其注意力开销很低,可以负担 512 维的宽头而几乎不增加额外计算量。MLA 层在 token 级别进行注意力计算,开销更高,因此查询/键和值均使用较窄的 256 维头。

将 KV-cache 预算集中于 MLA 层: 由于大多数层采用 HCA,核心问题在于如何分配剩余的 KV-cache 预算。一种方案是使用大量压缩稀疏注意力(CSA)层,将历史压缩 4 倍,并且只关注其中选定的部分。我们则改用少量保留每个 token 的 MLA 层。在相近 KV-cache 预算下的预训练对比中,HCA 与 MLA 的组合优于 HCA 与 CSA 的组合。

全上下文层中的稀疏注意力: MLA 层是唯一会逐一查看每个远端 token 的层。若采用稠密注意力,在长上下文长度下它们将占据大部分注意力计算量,因此改用稀疏注意力(DSA)。一个轻量级索引器为每个 query 对过去位置打分,核心注意力仅在最靠前的 k 个最高分位置上计算。因此,随着上下文增长,每个 query 的核心注意力开销保持恒定。采用 DSA 后,这些层在预训练损失上与稠密注意力持平,且训练速度显著更快。

注意力层内部还有两项进一步改动:

  • 低秩门控注意力(Low-Rank Gated Attention): 门控注意力将注意力输出乘以一个学习到的门控,已被证明能同时提升质量和训练稳定性。通常门控由该层的隐藏状态计算得出。我们则改为从低秩 query 潜变量计算,这是每个注意力层本就会计算的一种压缩形式的 query。由于该潜变量比隐藏状态窄 4 倍,门控投影的权重减少了 75%,我们的消融实验也显示出更好的性能。ERNIE 5.5 Flash 中的每个注意力层,无论 MLA 还是 HCA,均使用低秩门控注意力。
  • 虚拟头注意力(VHA): 在注意力之后,VHA 增加一个轻量级的低秩跨头混合步骤,并带有恒等跳跃连接。这使各头能够共享信息,从而提升表达能力和训练质量,并且在推理时它被融合进注意力 kernel,开销可忽略不计。

2.2 多路由潜变量 MoE

传统 MoE 层使用单一路由器并以硬 top-k 方式选择专家。我们发现,单一路由器的分数与每个专家实际的有用程度仅呈弱相关,在中间层和更深层尤为如此。而且,由于未进入 top-k 的专家不会从该 token 获得梯度,路由器得不到“选择错误”的信号,因此错误选择往往会自我强化。

Multi-Router 用多个独立初始化的 sigmoid 路由器替换单一路由器,由它们共同为专家打分。这些路由器会形成明显不同的偏好:一个专家被选中,可能是因为某个路由器强烈偏好它,也可能是因为多个路由器共同偏好它,因此错误选择更容易被纠正。任何一个路由器的错误都不再决定最终选择,路由对噪声特征和分布偏移的敏感度也随之降低。激活专家数量、专家 FLOPs 和通信量保持不变。与单一路由器相比,路由分数与每个专家实际有用程度的相关性明显更好,且在中层和更深层收益最大。

除第一层外,所有层都使用 MoE 前馈块:

  • 512 个路由专家(top-10)加 1 个共享专家,采用无辅助损失、偏差校正的负载均衡。
  • 潜在专家。 每个 MoE 层先将 token 从 4096 投影到 2048 维潜在空间;专家(中间维度 2048)在该空间中运行,再由一个共享的上投影将结果映射回 4096。相对于全宽专家,这大约将 dispatch/combine 流量和专家 FLOPs 减半。
  • 带可学习标量的稳定 LatentMoE 设计。 MoE 块遵循 Stable LatentMoE 设计(上投影前使用 RMSNorm,专家激活使用 SiTU-GLU),这使专家输出在所有 43 层中保持良好缩放,并稳定优化。此外,每个路由专家的路由权重都乘以各自的可学习标量。

2.3 流形约束超连接(mHC)

ERNIE 5.5 Flash 用 mHC 替换标准残差连接:每一层通过一个受约束的混合矩阵,从 4 条并行残差流读取并写入,从而为层间信息传递提供更宽的通道,而额外计算量可忽略不计。

2.4 MultiMax 输出头

单一的 softmax 温度会带来一种权衡:降低温度会让分布变得稀疏,但同时也会压制其他合理的 token;提高温度则能保留这些 token,却会加厚不合理 token 的长尾。MultiMax 用一个可学习的分段温度取代单一温度,因此输出头不再需要做取舍:它既能压制不合理 token 的长尾,又能保留多个合理的下一个 token。logits 会在分块、Triton 融合的交叉熵内核中、softmax 之前按元素重新缩放。这带来的训练开销可以忽略不计,也不增加额外内存,并且显著降低了预训练损失。

2.5 ECHO:替换 MTP 模块

传统的多 token 预测(MTP)会在主干网络上附加额外模块来预测未来 token,因此未来 token 上的损失主要训练这些模块,而主干网络仍然主要被训练来预测下一个 token。ERNIE 5.5 Flash 用 ECHO 替换了 MTP 模块,它复用主干网络自身的最后一层来预测未来 token。由于没有单独的 MTP 层,未来 token 上的损失直接训练产生下一个 token 的同一批参数。学习越过下一个 token 去看更远处,会促使主干网络预判序列的走向,在推理和代码任务上带来明显收益。ERNIE 5.5 Flash 使用单步 ECHO 进行预训练。同一层还充当推测解码的草稿模型,并且它的泛化能力超出了训练范围:尽管训练时只预测一个额外 token,它却能向前草拟多个 token,接受率高于以同样方式训练的辅助 MTP 模块。

2.6 Tokenizer

ERNIE 5.5 Flash 使用新的 BPE tokenizer,词表约 200K 项。数字按从右到左(R2L)、每组最多三位的方式分词,这样不同长度的数字中相同位值的数字能够对齐(例如 1,234,567 → 1 234 567)。这有助于算术和数字密集的文本。

3. 预训练

ERNIE-5.5-Flash-Base 使用 Muon 优化器和 FP8 混合精度,在 33.5T token 上从零开始预训练。训练上下文在预训练过程中逐步扩展到 128K token,而微调和推理支持 1M token 的上下文。发布的 checkpoint 取自预训练结束时,未经过任何中期训练或后训练。

3.1 数据

预训练语料覆盖广泛的领域和语言,并针对知识广度和质量进行了精心筛选。在这一广泛基础之上,我们重点聚焦三个领域:

  • 网页数据。 多语言网页数据经过大规模爬取、高保真提取,并由从多个维度评估质量的模型进行过滤。最终结果覆盖广泛的知识范围,且富含有效的训练信号。
  • 代码数据。 从代码仓库和网页收集的代码经过过滤以去除非代码内容,并进行激进去重和多粒度质量分级。除静态代码外,语料还包含关于软件如何演进和执行的数据:提交、issue、pull request、代码审查、需求到 PR 及多提交轨迹、生成的测试以及 CI 验证的修复。这些数据面向仓库级推理和智能体软件工程。
  • 长上下文数据。 三个互补来源:自然长文档,依据长程依赖关系选取,并通过基于嵌入的去重、LLM 质量评分和规则进行清洗;将自然文本与检索到的语义相似干扰项拼接构建的长序列;以及用于 MRCR 风格检索、引用锚定问答和多跳问答的合成数据。

3.2 训练基础设施

我们为本次训练构建了两个基础设施组件:一个在数千块 GPU 上保持高效的分布式 Muon 优化器,以及 FlashMask-4,一个面向大 head 维度的注意力 kernel。

分布式 Muon。 与 Adam 等逐元素优化器不同,Muon 将每个参数矩阵的更新作为一个整体进行正交化。这改变了分布式训练的通信方式以及内存在 GPU 间的分布方式。两项优化使其在数千块 GPU 的规模下变得可行:

  • 通信高效的更新。 传统上,稠密参数通过一条贯穿集群中所有 GPU 的单一环进行同步。数据以许多小消息的形式,经过一条长长的跨节点链路传递,这导致链路利用率不足,而且随着集群规模增大,延迟和抖动也会增加。MoE 参数的同步方式不同:每个 GPU 只与在其他节点上持有相同 rank 的 GPU 交换数据。我们将稠密参数同步迁移到同一条路径上,并把稠密传输和 MoE 传输合并为一次集合通信操作。消息变得更大,因此带宽利用更充分;通信模式变得更规整,契合专家并行通信;跨节点延迟和抖动显著下降。优化器的更新保持完全不变。
  • 内存均衡的分片。 Muon 需要大消息才能高效通信,因此朴素的分片会把许多参数张量归为一组,放到前几个 GPU 上。于是少数几个节点持有的优化器状态远多于其余节点。这些节点容易发生 OOM 故障,保存、上传和下载 checkpoint 也很慢,从而延长了故障恢复时间,而且这个问题会随着 GPU 数量增加而加剧。我们的跨节点均衡分片把这些优化器状态分散到更多 GPU 上,包括排序靠后的那些 GPU。这样内存在各节点间几乎均匀分布,同时消息仍足够大,可以高效通信。

面向大 head 维度的 FlashMask-4。 在较大的 head 维度下,FlashAttention 风格的 kernel 会触及共享内存和张量内存等片上存储的极限:计算利用率下降,某些配置甚至难以实现。FlashMask-4 基于 CuTe-DSL 构建,同时支持 SM90 和 SM100 GPU。它通过 2-CTA 分块并行计算来规避这些限制,并在 SM100 上使用张量内存中的双缓冲轮转。它保留了 FlashMask 紧凑的 O(N) 列式掩码表示,并且仍然跳过完全被掩码的块。它支持的 head 维度最高可达 qk_head_dim = 576 和 v_head_dim = 512,超出了 FlashAttention-4 的支持范围。在 SM100 GPU 上,相比 FlashAttention-4 MaskMod,其前向传播最高快 175%,反向传播最高快 74%。

4. 评估

4.1 设置

与 ERNIE-5.5-Flash-Base 一同,图中和表中还报告了三个规模相近的基础模型:DeepSeek-V4-Flash-Base(284B-A13B)、Hy3-preview-Base(295B-A21B)和 MiMo-V2.5-Base(310B-A15B)。这四个模型均使用其公开发布的检查点进行评估,采用相同的评估框架、提示词和少样本示例,并且对于自由形式问答使用相同的 LLM 评判器。

4.2 总体结果

ERNIE 5.5 Flash Base、DeepSeek V4 Flash Base、Hy3 preview Base 和 MiMo V2.5 Base 在七个类别共 30 个基准上的总体对比。完整分数见详细结果。 ERNIE 5.5 Flash Base 总体评估结果点击查看完整图片 ↗

ERNIE-5.5-Flash-Base 在所有基准类别中均表现强劲,其中推理、代码和考试类基准是其最佳结果之一。尽管 43 层中有 37 层在压缩 128× 的序列上执行注意力,但六个 MLA-DSA 层足以在六个长上下文基准上保持强劲性能。

4.3 详细结果

基准测试(指标)# ShotsERNIE 5.5 Flash BaseDeepSeek V4 Flash BaseHy3 preview BaseMiMo V2.5 Base
# 总参数量-280B284B295B310B
# 激活参数量-14B13B21B15B
考试
MMLU (EM)5-shot93.389.487.587.6
MMLU-Redux (EM)5-shot94.190.988.789.4
MMLU-Pro (EM)5-shot78.469.266.965.7
CMMLU (EM)5-shot90.089.789.387.7
知识
SimpleQA (LLM-Judge)10-shot34.129.125.920.8
ChineseSimpleQA (LLM-Judge)10-shot73.075.373.268.8
PreciseWikiQA (LLM-Judge)10-shot59.352.050.346.0
HotpotQA (LLM-Judge)10-shot57.351.850.950.1
PopQA (LLM-Judge)10-shot52.248.749.345.7
STEM
GPQA (EM)5-shot60.255.950.251.4
MGSM (EM)8-shot CoT87.084.676.983.8
MathBench-CN (LLM-Judge)5-shot80.878.075.365.6
推理
BBH (EM, direct)3-shot77.169.067.568.0
BBH (EM, CoT)3-shot CoT89.287.590.089.8
WinoGrande (EM)5-shot87.884.982.485.2
PIQA (EM)5-shot96.095.095.293.6
多语言
MMMLU-lite (EM)5-shot81.078.576.172.2
INCLUDE-lite (EM)5-shot79.579.877.774.5
MultiLoKo (LLM-Judge)5-shot43.342.839.536.3
代码
HumanEval+ (Pass@1)1-shot82.369.578.074.4
MBPP+ (Pass@1)0-shot81.567.278.374.3
LiveCodeBench (Pass@1)1-shot40.131.933.532.4
FullStackBench (Pass@1)1-shot54.643.356.754.1
RepoBench (EM)0-shot50.349.149.148.9
长上下文
HELMET-RAG (SubEM)2-shot71.568.967.269.0
HELMET-Rerank (NDCG@10)0-shot56.260.055.756.6
HELMET-ICL (EM)many-shot85.983.883.080.2
RepoQA (Pass@1)0-shot91.781.091.356.5
LongBench-v2 (EM)0-shot48.744.539.844.6
InfiniteBench (Avg)0-shot46.548.033.046.7

每行中的最佳结果以粗体显示。在移动端可横向滑动以查看完整表格。

5. 快速开始

FP8 权重 ↗BF16 权重 ↗

ERNIE-5.5-Flash-Base 已在 Hugging Face 上以 FP8 和 BF16 safetensors 格式提供(BF16 版本为 ERNIE-5.5-Flash-Base-BF16),遵循 ERNIE 5.5 Flash Base 模型许可协议 v1.0。该模型要求在每个输入的开头添加 BOS token,因此在分词时请保持 add_special_tokens=True。

PYTHON
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "baidu/ERNIE-5.5-Flash-Base-BF16"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
model_inputs = tokenizer(["The hybrid attention architecture of ERNIE 5.5 Flash"], add_special_tokens=True, return_tensors="pt").to(model.device)
print(tokenizer.decode(model.generate(**model_inputs, max_new_tokens=256)[0], skip_special_tokens=True))

SGLang 和 vLLM 均通过 completions API 提供该模型的推理服务;部署说明请参阅模型卡片。如需微调,请参考 ERNIE 5.5 示例。

6. 结论与展望

ERNIE-5.5-Flash-Base 源于一个基本前提:一个用于进一步训练的基础模型,应当在设计上就具备高效性。我们在每个组件中都平衡了能力与效率,从注意力和残差连接,到 MoE 层和输出头。该架构由广泛、高质量的预训练数据以及一套与模型协同设计的训练系统所支撑。凭借每 token 激活 14B 参数和紧凑的 KV cache,该模型在包括长上下文在内的广泛基准测试中表现强劲。

这个基础模型只是一个起点。经过后训练的 ERNIE 5.5 Flash 将随后推出,我们期待看到社区在此基础上构建出什么,无论是用于领域适配、推理还是智能体。

引用

如果您在研究中或项目中觉得 ERNIE 5.5 有用,请考虑引用这篇博客文章:

BibTeX

@misc{ernie5.5flash, title = {ERNIE 5.5 Flash Base}, author = {{Baidu ERNIE Team}}, year = {2026}, howpublished = {ERNIE Blog}, url = {https://ernie.baidu.com/release/ernie-5-5-flash-base/} }