百度发布 ERNIE 5.5 Flash Base 280B 稀疏 MoE 模型
原标题:▲ Baidu just released ERNIE 5.5 Flash Base, a 280B sparse MoE model shipped straight from pre-traini...
- 280B 总参数、14B 激活,33.5T 训练 token,支持 1M token 推理上下文,提供 FP8 与 BF16 权重
- 43 层中 37 层使用重度压缩注意力,每 128 token 仅缓存 1 条,显著降低 KV 缓存开销
- 多路由器从 512 专家中选 top-10,末层兼作投机解码草稿模型
- MMLU-Pro 78.4 对 69.2、HumanEval+ 82.3 对 69.5 领先 DeepSeek-V4-Flash-Base,但 HELMET-Rerank 56.2 落后于 60.0,且均为自报数据