返回热点榜
llm热度 0.0°

AI 聚合热点事件 · 2026/11/5

百度开源 280B 参数 ERNIE 5.5 Flash Base 基座模型,多项基准刷新同尺寸 SOTA

6 篇收录报道6 家独立信源交叉印证持续跟踪至 2026/11/6 05:35:34
全景综述与最新动态
6 家信源交叉印证

百度正式开源了文心大模型 ERNIE 5.5 Flash Base 的预训练终点权重。该模型总参数达 2800 亿,采用稀疏 MoE 架构,每个 token 仅激活 140 亿参数,在 33.5 万亿 tokens 上从零预训练,训练上下文为 128K,微调与推理阶段可扩展至 100 万 tokens。在知识、推理、数学、代码、多语言及长上下文等多项基准上,该模型刷新了同尺寸 SOTA,性能超过 DeepSeek-V4-Flash-Base 等同类模型。

技术细节上,模型采用 Latent-Gated Sparse Attention 组合 HCA、MLA、低秩门控注意力与虚拟头注意力,将门控投影参数减少 75%;Multi-Router Latent MoE 通过多路由器改善专家选择;ECHO 训练目标复用主干末层实现免 MTP 的多 Token 预测。训练侧使用分布式 Muon 优化器与 FP8 混合精度,注意力算子为基于 CuTe-DSL 的 FlashMask-4,支持 SM90/SM100。官方开放 FP8 与 BF16 权重,并联合 vLLM、SGLang 提供部署 cookbook。

此次发布的是未经中训练与后训练的 Base 权重,定位为领域适配、指令微调与强化学习研究的共同起点,经过后训练的正式版本将随后推出。该模型主打 Agent 长任务链下的效率与成本平衡,为开发者提供了可二次开发的通用基座,有望推动大模型开源生态的进一步发展。

最新动向/百度发布 ERNIE 5.5 Flash Base,这是一个 280B 总参数、14B 激活参数的稀疏 MoE 模型,直接来自预训练阶段,未经中期或后训练。其核心设计是效率优先:43 层中 37 层采用重度压缩注意力,每 128 个 token 仅缓存 1 条记录,多路由器从 512 个专家中选 top-10,末层兼作投机解码草稿模型。官方自报在 MMLU-Pro 与 HumanEval+ 上领先 DeepSeek-V4-Flash-Base,但在 HELMET-Rerank 上落后,且所有数据均为自报。

报道时间线

共 6 篇 · 最新优先
  1. Marktechpost (@Marktechpost)T2·78 分

    百度发布 ERNIE 5.5 Flash Base 280B 稀疏 MoE 模型

    原标题:▲ Baidu just released ERNIE 5.5 Flash Base, a 280B sparse MoE model shipped straight from pre-traini...

    • 280B 总参数、14B 激活,33.5T 训练 token,支持 1M token 推理上下文,提供 FP8 与 BF16 权重
    • 43 层中 37 层使用重度压缩注意力,每 128 token 仅缓存 1 条,显著降低 KV 缓存开销
    • 多路由器从 512 专家中选 top-10,末层兼作投机解码草稿模型
    • MMLU-Pro 78.4 对 69.2、HumanEval+ 82.3 对 69.5 领先 DeepSeek-V4-Flash-Base,但 HELMET-Rerank 56.2 落后于 60.0,且均为自报数据
  2. The DecoderT2·78 分

    百度开源 2800 亿参数 ERNIE 5.5 Flash Base 基础模型

    原标题:Baidu releases ERNIE 5.5 Flash Base with 280 billion parameters as an open-source foundation model

    • 混合专家架构,2800 亿总参数、1400 亿激活参数,预训练语料 33.5 万亿 token
    • 仅发布基础权重,不含微调与后训练,开发者需自行完成对齐与定制
    • 权重以 FP8 与 BF16 格式在 Hugging Face 开放,官方称推理、代码与长上下文基准对标同级开源基础模型
  3. IT之家 · 智能时代T2·78 分

    百度开源 ERNIE 5.5 Flash Base 基座模型 总参数 280B

    原标题:百度文心开源发布 ERNIE 5.5 Flash Base 高效基座模型,总参数 280B

    • 总参数 280B、每 token 激活 14B 的稀疏 MoE 架构,在 33.5T tokens 上从零预训练,训练上下文 128K,微调与推理支持 1M。
    • 发布的是未经中训练与后训练的 Base 权重,官方定位为领域适配、指令微调与强化学习的共同起点。
    • 训练侧采用分布式 Muon 优化器与 FP8 混合精度,注意力算子为基于 CuTe-DSL 的 FlashMask-4,支持 SM90/SM100。
  4. 量子位官网T2·78 分

    百度开源文心 5.5 Flash Base 2800 亿参数 MoE 刷新同尺寸 SOTA

    原标题:百度开源文心5.5 Flash Base,多基准测试刷新同尺寸模型 SOTA

    • 总参数 2800 亿、每 Token 激活 140 亿,预训练 33.5 万亿 Token,微调与推理支持最长 100 万 Token 上下文
    • Latent-Gated Sparse Attention 组合 HCA、MLA、低秩门控注意力与虚拟头注意力,门控投影参数减少 75%
    • Multi-Router Latent MoE 用多路由器改善专家选择,ECHO 复用主干末层实现免 MTP 的多 Token 预测