Marktechpost (@Marktechpost)T2·基座大模型
78 分
百度发布 ERNIE 5.5 Flash Base,这是一个 280B 总参数、14B 激活参数的稀疏 MoE 模型,直接来自预训练阶段,未经中期或后训练。其核心设计是效率优先:43 层中 37 层采用重度压缩注意力,每 128 个 token 仅缓存 1 条记录,多路由器从 512 个专家中选 top-10,末层兼作投机解码草稿模型。官方自报在 MMLU-Pro 与 HumanEval+ 上领先 DeepSeek-V4-Flash-Base,但在 HELMET-Rerank 上落后,且所有数据均为自报。