百度开源 280B 参数 ERNIE 5.5 Flash Base 基座模型，多项基准刷新同尺寸 SOTA

百度正式开源了文心大模型 ERNIE 5.5 Flash Base 的预训练终点权重。该模型总参数达 2800 亿（280B），采用稀疏 MoE 架构，每个 token 仅激活 140 亿参数，在 33.5 万亿 tokens 上从零预训练完成。值得注意的是，此次发布的是未经中训练与后训练的 Base 权重，官方将其定位为领域适配、指令微调与强化学习研究的共同起点，经过后训练的正式版本将随后推出。

技术细节上，该模型在效率层面做了多项创新：训练上下文为 128K，但微调与推理支持最长 100 万 token 上下文；训练侧采用分布式 Muon 优化器与 FP8 混合精度，注意力算子为基于 CuTe-DSL 的 FlashMask-4，支持 SM90/SM100 架构。模型还引入了 Latent-Gated Sparse Attention（组合 HCA、MLA、低秩门控注意力与虚拟头注意力，门控投影参数减少 75%）、Multi-Router Latent MoE（用多路由器改善专家选择）以及复用主干末层的 ECHO 训练目标（实现免 MTP 的多 token 预测）。在知识、推理、数学、代码、多语言与长上下文等基准上，该模型取得了同尺寸 SOTA，超过 DeepSeek-V4-Flash-Base 等同类模型。

此次开源对 AI 社区意义重大：280B 参数规模的 Base 权重开放，为研究者提供了高质量的预训练起点，降低了领域适配与强化学习研究的门槛；同时，其在 MoE 效率上的创新也为大模型架构演进提供了新思路，有望推动稀疏模型在工业界的进一步落地。