术语slug: router

路由网络

Router

在混合专家模型中为每个 token 计算专家打分并选择激活子集的轻量门控模块。

收录情报动态

共 1 篇 · 第 1/1 页
Marktechpost (@Marktechpost)T2·基座大模型
78 分
百度发布 ERNIE 5.5 Flash Base 280B 稀疏 MoE 模型

百度发布 ERNIE 5.5 Flash Base,这是一个 280B 总参数、14B 激活参数的稀疏 MoE 模型,直接来自预训练阶段,未经中期或后训练。其核心设计是效率优先:43 层中 37 层采用重度压缩注意力,每 128 个 token 仅缓存 1 条记录,多路由器从 512 个专家中选 top-10,末层兼作投机解码草稿模型。官方自报在 MMLU-Pro 与 HumanEval+ 上领先 DeepSeek-V4-Flash-Base,但在 HELMET-Rerank 上落后,且所有数据均为自报。