百度开源 ERNIE 5.5 Flash Base 280B 稀疏 MoE 基座模型
百度发布 ERNIE 5.5 Flash Base,这是一个总参数 280B、每 token 激活 14B 的稀疏 MoE 语言模型,基于 33.5T token 从零预训练,训练上下文 128K,微调与推理支持 1M token。发布的是预训练结束、尚未经过中段与后训练的权重,定位为领域适配、指令微调与强化学习研究的通用起点。
报道正文
本文目录18 个章节
1. 引言
基础模型的价值既体现在预训练所构建的能力上,也体现在它为后续训练提供的起点上。不同的领域、推理任务和智能体应用需要不同的数据、训练目标和行为模式。在预训练结束时发布权重,可以让开发者基于已有的通用能力进行构建,并自行决定模型下一步的发展方向。
今天我们发布 ERNIE-5.5-Flash-Base,这是一个稀疏混合专家(MoE)语言模型,总参数量为 280B,每个 token 激活 14B 参数。它基于 33.5T tokens 从零开始预训练,训练上下文长度最高达 128K,并支持 1M token 的微调与推理上下文。本次发布的权重是预训练结束时的检查点,尚未经过任何中期训练或后训练,可作为领域适配、指令微调和强化学习研究的通用起点。
一个基础模型要值得在其之上进行构建,就必须在训练和运行上保持可负担的成本,因此效率从一开始就是设计目标。后续训练会反复从模型中采样,而智能体应用会带来多轮交互和长上下文,这两者都会增加计算和内存开销。因此,ERNIE 5.5 Flash 在每一个组件中都重新审视了能力与效率之间的权衡——从注意力和残差连接,到 MoE 层和输出头——并将激活计算量、KV 缓存和长上下文成本放在一起综合权衡,而非逐一单独考虑。
同样的思路也塑造了数据和训练系统。训练的每一个后续阶段都建立在预训练所提供的基础之上,因此语料库重点强调那些后期难以补充的能力,例如仓库级代码和长上下文理解。而且,高效的架构只有在能够大规模高效训练时才能真正发挥价值,因此我们将模型设计与训练系统协同设计。
我们希望本次发布能让更多开发者省去大规模预训练的成本,从而将自身资源投入到他们真正关心的能力、任务和训练方法上。
核心亮点:
- 面向进一步训练的开放起点。 仅提供基础权重,不含中期训练或后训练,让社区可以自由探索各自的领域适配、推理与智能体训练方法。
- 为高效进一步训练与推理而构建。 稀疏 MoE 与混合稀疏注意力在架构层面平衡了模型容量、激活计算量与长上下文开销。
- 数据广泛,训练高效。 多样且高质量的预训练数据为后续训练奠定了均衡的基础,而与架构协同设计的训练系统则保障了大规模预训练的高效性。
- 干净的研究基线。 仅取预训练结束时的一个检查点,便于在受控条件下比较不同训练方法,并衡量每种方法带来的增益。
2. 模型架构
ERNIE 5.5 Flash 模型架构点击查看完整图片 ↗
ERNIE 5.5 Flash 拥有 43 个 Transformer 层,隐藏层大小为 4096,注意力头数为 64。
2.1 潜在门控稀疏注意力
混合 MLA + HCA 注意力: 大多数层只需要对久远过去有一个粗略的视图,因此每七层中只有一层使用多头潜在注意力(MLA)保留对完整上下文的 token 级访问。其余层使用重度压缩注意力(HCA):每层将每 128 个 token 压缩为一个缓存条目,然后对这些条目以及一小段最近的未压缩 token 窗口进行注意力计算。因此,HCA 层仍然能看到整个序列,但缓存的内容仅占全上下文层所需的一小部分。
层特定的头维度: 我们没有在每一层使用相同的头维度,而是根据每层注意力的开销来设定:开销低的层使用宽头,开销高的层使用较窄的头。HCA 层在压缩了 128 倍的序列上进行注意力计算,因此其注意力开销很低,可以负担 512 维的宽头而几乎不增加额外计算量。MLA 层在 token 级别进行注意力计算,开销更高,因此查询/键和值均使用较窄的 256 维头。
将 KV-cache 预算集中于 MLA 层: 由于大多数层采用 HCA,核心问题在于如何分配剩余的 KV-cache 预算。一种方案是使用大量压缩稀疏注意力(CSA)层,将历史压缩 4 倍,并且只关注其中选定的部分。我们则改用少量保留每个 token 的 MLA 层。在相近 KV-cache 预算下的预训练对比中,HCA 与 MLA 的组合优于 HCA 与 CSA 的组合。
全上下文层中的稀疏注意力: MLA 层是唯一会逐一查看每个远端 token 的层。若采用稠密注意力,在长上下文长度下它们将占据大部分注意力计算量,因此改用稀疏注意力(DSA)。一个轻量级索引器为每个 query 对过去位置打分,核心注意力仅在最靠前的 k 个最高分位置上计算。因此,随着上下文增长,每个 query 的核心注意力开销保持恒定。采用 DSA 后,这些层在预训练损失上与稠密注意力持平,且训练速度显著更快。
注意力层内部还有两项进一步改动:
- 低秩门控注意力(Low-Rank Gated Attention): 门控注意力将注意力输出乘以一个学习到的门控,已被证明能同时提升质量和训练稳定性。通常门控由该层的隐藏状态计算得出。我们则改为从低秩 query 潜变量计算,这是每个注意力层本就会计算的一种压缩形式的 query。由于该潜变量比隐藏状态窄 4 倍,门控投影的权重减少了 75%,我们的消融实验也显示出更好的性能。ERNIE 5.5 Flash 中的每个注意力层,无论 MLA 还是 HCA,均使用低秩门控注意力。
- 虚拟头注意力(VHA): 在注意力之后,VHA 增加一个轻量级的低秩跨头混合步骤,并带有恒等跳跃连接。这使各头能够共享信息,从而提升表达能力和训练质量,并且在推理时它被融合进注意力 kernel,开销可忽略不计。
2.2 多路由潜变量 MoE
传统 MoE 层使用单一路由器并以硬 top-k 方式选择专家。我们发现,单一路由器的分数与每个专家实际的有用程度仅呈弱相关,在中间层和更深层尤为如此。而且,由于未进入 top-k 的专家不会从该 token 获得梯度,路由器得不到“选择错误”的信号,因此错误选择往往会自我强化。
Multi-Router 用多个独立初始化的 sigmoid 路由器替换单一路由器,由它们共同为专家打分。这些路由器会形成明显不同的偏好:一个专家被选中,可能是因为某个路由器强烈偏好它,也可能是因为多个路由器共同偏好它,因此错误选择更容易被纠正。任何一个路由器的错误都不再决定最终选择,路由对噪声特征和分布偏移的敏感度也随之降低。激活专家数量、专家 FLOPs 和通信量保持不变。与单一路由器相比,路由分数与每个专家实际有用程度的相关性明显更好,且在中层和更深层收益最大。
除第一层外,所有层都使用 MoE 前馈块:
- 512 个路由专家(top-10)加 1 个共享专家,采用无辅助损失、偏差校正的负载均衡。
- 潜在专家。 每个 MoE 层先将 token 从 4096 投影到 2048 维潜在空间;专家(中间维度 2048)在该空间中运行,再由一个共享的上投影将结果映射回 4096。相对于全宽专家,这大约将 dispatch/combine 流量和专家 FLOPs 减半。
- 带可学习标量的稳定 LatentMoE 设计。 MoE 块遵循 Stable LatentMoE 设计(上投影前使用 RMSNorm,专家激活使用 SiTU-GLU),这使专家输出在所有 43 层中保持良好缩放,并稳定优化。此外,每个路由专家的路由权重都乘以各自的可学习标量。
2.3 流形约束超连接(mHC)
ERNIE 5.5 Flash 用 mHC 替换标准残差连接:每一层通过一个受约束的混合矩阵,从 4 条并行残差流读取并写入,从而为层间信息传递提供更宽的通道,而额外计算量可忽略不计。
2.4 MultiMax 输出头
单一的 softmax 温度会带来一种权衡:降低温度会让分布变得稀疏,但同时也会压制其他合理的 token;提高温度则能保留这些 token,却会加厚不合理 token 的长尾。MultiMax 用一个可学习的分段温度取代单一温度,因此输出头不再需要做取舍:它既能压制不合理 token 的长尾,又能保留多个合理的下一个 token。logits 会在分块、Triton 融合的交叉熵内核中、softmax 之前按元素重新缩放。这带来的训练开销可以忽略不计,也不增加额外内存,并且显著降低了预训练损失。
2.5 ECHO:替换 MTP 模块
传统的多 token 预测(MTP)会在主干网络上附加额外模块来预测未来 token,因此未来 token 上的损失主要训练这些模块,而主干网络仍然主要被训练来预测下一个 token。ERNIE 5.5 Flash 用 ECHO 替换了 MTP 模块,它复用主干网络自身的最后一层来预测未来 token。由于没有单独的 MTP 层,未来 token 上的损失直接训练产生下一个 token 的同一批参数。学习越过下一个 token 去看更远处,会促使主干网络预判序列的走向,在推理和代码任务上带来明显收益。ERNIE 5.5 Flash 使用单步 ECHO 进行预训练。同一层还充当推测解码的草稿模型,并且它的泛化能力超出了训练范围:尽管训练时只预测一个额外 token,它却能向前草拟多个 token,接受率高于以同样方式训练的辅助 MTP 模块。
2.6 Tokenizer
ERNIE 5.5 Flash 使用新的 BPE tokenizer,词表约 200K 项。数字按从右到左(R2L)、每组最多三位的方式分词,这样不同长度的数字中相同位值的数字能够对齐(例如 1,234,567 → 1 234 567)。这有助于算术和数字密集的文本。
3. 预训练
ERNIE-5.5-Flash-Base 使用 Muon 优化器和 FP8 混合精度,在 33.5T token 上从零开始预训练。训练上下文在预训练过程中逐步扩展到 128K token,而微调和推理支持 1M token 的上下文。发布的 checkpoint 取自预训练结束时,未经过任何中期训练或后训练。
3.1 数据
预训练语料覆盖广泛的领域和语言,并针对知识广度和质量进行了精心筛选。在这一广泛基础之上,我们重点聚焦三个领域:
- 网页数据。 多语言网页数据经过大规模爬取、高保真提取,并由从多个维度评估质量的模型进行过滤。最终结果覆盖广泛的知识范围,且富含有效的训练信号。
- 代码数据。 从代码仓库和网页收集的代码经过过滤以去除非代码内容,并进行激进去重和多粒度质量分级。除静态代码外,语料还包含关于软件如何演进和执行的数据:提交、issue、pull request、代码审查、需求到 PR 及多提交轨迹、生成的测试以及 CI 验证的修复。这些数据面向仓库级推理和智能体软件工程。
- 长上下文数据。 三个互补来源:自然长文档,依据长程依赖关系选取,并通过基于嵌入的去重、LLM 质量评分和规则进行清洗;将自然文本与检索到的语义相似干扰项拼接构建的长序列;以及用于 MRCR 风格检索、引用锚定问答和多跳问答的合成数据。
3.2 训练基础设施
我们为本次训练构建了两个基础设施组件:一个在数千块 GPU 上保持高效的分布式 Muon 优化器,以及 FlashMask-4,一个面向大 head 维度的注意力 kernel。
分布式 Muon。 与 Adam 等逐元素优化器不同,Muon 将每个参数矩阵的更新作为一个整体进行正交化。这改变了分布式训练的通信方式以及内存在 GPU 间的分布方式。两项优化使其在数千块 GPU 的规模下变得可行:
- 通信高效的更新。 传统上,稠密参数通过一条贯穿集群中所有 GPU 的单一环进行同步。数据以许多小消息的形式,经过一条长长的跨节点链路传递,这导致链路利用率不足,而且随着集群规模增大,延迟和抖动也会增加。MoE 参数的同步方式不同:每个 GPU 只与在其他节点上持有相同 rank 的 GPU 交换数据。我们将稠密参数同步迁移到同一条路径上,并把稠密传输和 MoE 传输合并为一次集合通信操作。消息变得更大,因此带宽利用更充分;通信模式变得更规整,契合专家并行通信;跨节点延迟和抖动显著下降。优化器的更新保持完全不变。
- 内存均衡的分片。 Muon 需要大消息才能高效通信,因此朴素的分片会把许多参数张量归为一组,放到前几个 GPU 上。于是少数几个节点持有的优化器状态远多于其余节点。这些节点容易发生 OOM 故障,保存、上传和下载 checkpoint 也很慢,从而延长了故障恢复时间,而且这个问题会随着 GPU 数量增加而加剧。我们的跨节点均衡分片把这些优化器状态分散到更多 GPU 上,包括排序靠后的那些 GPU。这样内存在各节点间几乎均匀分布,同时消息仍足够大,可以高效通信。
面向大 head 维度的 FlashMask-4。 在较大的 head 维度下,FlashAttention 风格的 kernel 会触及共享内存和张量内存等片上存储的极限:计算利用率下降,某些配置甚至难以实现。FlashMask-4 基于 CuTe-DSL 构建,同时支持 SM90 和 SM100 GPU。它通过 2-CTA 分块并行计算来规避这些限制,并在 SM100 上使用张量内存中的双缓冲轮转。它保留了 FlashMask 紧凑的 O(N) 列式掩码表示,并且仍然跳过完全被掩码的块。它支持的 head 维度最高可达 qk_head_dim = 576 和 v_head_dim = 512,超出了 FlashAttention-4 的支持范围。在 SM100 GPU 上,相比 FlashAttention-4 MaskMod,其前向传播最高快 175%,反向传播最高快 74%。
4. 评估
4.1 设置
与 ERNIE-5.5-Flash-Base 一同,图中和表中还报告了三个规模相近的基础模型:DeepSeek-V4-Flash-Base(284B-A13B)、Hy3-preview-Base(295B-A21B)和 MiMo-V2.5-Base(310B-A15B)。这四个模型均使用其公开发布的检查点进行评估,采用相同的评估框架、提示词和少样本示例,并且对于自由形式问答使用相同的 LLM 评判器。
4.2 总体结果
ERNIE 5.5 Flash Base 总体评估结果点击查看完整图片 ↗
ERNIE-5.5-Flash-Base 在所有基准类别中均表现强劲,其中推理、代码和考试类基准是其最佳结果之一。尽管 43 层中有 37 层在压缩 128× 的序列上执行注意力,但六个 MLA-DSA 层足以在六个长上下文基准上保持强劲性能。
4.3 详细结果
| 基准测试(指标) | # Shots | ERNIE 5.5 Flash Base | DeepSeek V4 Flash Base | Hy3 preview Base | MiMo V2.5 Base |
|---|---|---|---|---|---|
| # 总参数量 | - | 280B | 284B | 295B | 310B |
| # 激活参数量 | - | 14B | 13B | 21B | 15B |
| 考试 | |||||
| MMLU (EM) | 5-shot | 93.3 | 89.4 | 87.5 | 87.6 |
| MMLU-Redux (EM) | 5-shot | 94.1 | 90.9 | 88.7 | 89.4 |
| MMLU-Pro (EM) | 5-shot | 78.4 | 69.2 | 66.9 | 65.7 |
| CMMLU (EM) | 5-shot | 90.0 | 89.7 | 89.3 | 87.7 |
| 知识 | |||||
| SimpleQA (LLM-Judge) | 10-shot | 34.1 | 29.1 | 25.9 | 20.8 |
| ChineseSimpleQA (LLM-Judge) | 10-shot | 73.0 | 75.3 | 73.2 | 68.8 |
| PreciseWikiQA (LLM-Judge) | 10-shot | 59.3 | 52.0 | 50.3 | 46.0 |
| HotpotQA (LLM-Judge) | 10-shot | 57.3 | 51.8 | 50.9 | 50.1 |
| PopQA (LLM-Judge) | 10-shot | 52.2 | 48.7 | 49.3 | 45.7 |
| STEM | |||||
| GPQA (EM) | 5-shot | 60.2 | 55.9 | 50.2 | 51.4 |
| MGSM (EM) | 8-shot CoT | 87.0 | 84.6 | 76.9 | 83.8 |
| MathBench-CN (LLM-Judge) | 5-shot | 80.8 | 78.0 | 75.3 | 65.6 |
| 推理 | |||||
| BBH (EM, direct) | 3-shot | 77.1 | 69.0 | 67.5 | 68.0 |
| BBH (EM, CoT) | 3-shot CoT | 89.2 | 87.5 | 90.0 | 89.8 |
| WinoGrande (EM) | 5-shot | 87.8 | 84.9 | 82.4 | 85.2 |
| PIQA (EM) | 5-shot | 96.0 | 95.0 | 95.2 | 93.6 |
| 多语言 | |||||
| MMMLU-lite (EM) | 5-shot | 81.0 | 78.5 | 76.1 | 72.2 |
| INCLUDE-lite (EM) | 5-shot | 79.5 | 79.8 | 77.7 | 74.5 |
| MultiLoKo (LLM-Judge) | 5-shot | 43.3 | 42.8 | 39.5 | 36.3 |
| 代码 | |||||
| HumanEval+ (Pass@1) | 1-shot | 82.3 | 69.5 | 78.0 | 74.4 |
| MBPP+ (Pass@1) | 0-shot | 81.5 | 67.2 | 78.3 | 74.3 |
| LiveCodeBench (Pass@1) | 1-shot | 40.1 | 31.9 | 33.5 | 32.4 |
| FullStackBench (Pass@1) | 1-shot | 54.6 | 43.3 | 56.7 | 54.1 |
| RepoBench (EM) | 0-shot | 50.3 | 49.1 | 49.1 | 48.9 |
| 长上下文 | |||||
| HELMET-RAG (SubEM) | 2-shot | 71.5 | 68.9 | 67.2 | 69.0 |
| HELMET-Rerank (NDCG@10) | 0-shot | 56.2 | 60.0 | 55.7 | 56.6 |
| HELMET-ICL (EM) | many-shot | 85.9 | 83.8 | 83.0 | 80.2 |
| RepoQA (Pass@1) | 0-shot | 91.7 | 81.0 | 91.3 | 56.5 |
| LongBench-v2 (EM) | 0-shot | 48.7 | 44.5 | 39.8 | 44.6 |
| InfiniteBench (Avg) | 0-shot | 46.5 | 48.0 | 33.0 | 46.7 |
每行中的最佳结果以粗体显示。在移动端可横向滑动以查看完整表格。
5. 快速开始
ERNIE-5.5-Flash-Base 已在 Hugging Face 上以 FP8 和 BF16 safetensors 格式提供(BF16 版本为 ERNIE-5.5-Flash-Base-BF16),遵循 ERNIE 5.5 Flash Base 模型许可协议 v1.0。该模型要求在每个输入的开头添加 BOS token,因此在分词时请保持 add_special_tokens=True。
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
model_name = "baidu/ERNIE-5.5-Flash-Base-BF16"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
model_inputs = tokenizer(["The hybrid attention architecture of ERNIE 5.5 Flash"], add_special_tokens=True, return_tensors="pt").to(model.device)
print(tokenizer.decode(model.generate(**model_inputs, max_new_tokens=256)[0], skip_special_tokens=True))SGLang 和 vLLM 均通过 completions API 提供该模型的推理服务;部署说明请参阅模型卡片。如需微调,请参考 ERNIE 5.5 示例。
6. 结论与展望
ERNIE-5.5-Flash-Base 源于一个基本前提:一个用于进一步训练的基础模型,应当在设计上就具备高效性。我们在每个组件中都平衡了能力与效率,从注意力和残差连接,到 MoE 层和输出头。该架构由广泛、高质量的预训练数据以及一套与模型协同设计的训练系统所支撑。凭借每 token 激活 14B 参数和紧凑的 KV cache,该模型在包括长上下文在内的广泛基准测试中表现强劲。
这个基础模型只是一个起点。经过后训练的 ERNIE 5.5 Flash 将随后推出,我们期待看到社区在此基础上构建出什么,无论是用于领域适配、推理还是智能体。
引用
如果您在研究中或项目中觉得 ERNIE 5.5 有用,请考虑引用这篇博客文章:
BibTeX
@misc{ernie5.5flash, title = {ERNIE 5.5 Flash Base}, author = {{Baidu ERNIE Team}}, year = {2026}, howpublished = {ERNIE Blog}, url = {https://ernie.baidu.com/release/ernie-5-5-flash-base/} }