术语slug: sparse-moe

稀疏混合专家

Sparse MoE

一种通过动态路由仅激活部分专家网络以提升训练和推理效率的模型结构。

收录情报动态

共 11 篇 · 第 1/2 页
Marktechpost (@Marktechpost)T2·基座大模型
88 分
阿里发布 2.4T 参数 Qwen4-Max 旗舰模型

阿里巴巴发布 Qwen4-Max,采用 2.4 万亿参数稀疏 MoE 架构,单 token 仅激活 71B 参数,输入定价为每百万 token 1.5 美元。核心创新在于重建的稀疏 MoE 栈:3 层 Gated DeltaNet 为每层 Qwen Sparse Attention 压缩历史,配合轻量索引器选取上下文,并叠加 4 条门控残差分支与 328B N-gram Embedding 参数。该模型在 16 项基准中的 4 项登顶,但编程与终端任务明显落后于 Claude Opus 5.5 与 Kimi K3.1,呈现明显的取舍。

IT之家 · 智能时代T2·算力与基建
78 分
Axelera 公布数据中心 AIPU 芯片 Titania 架构

荷兰芯片初创企业 Axelera AI 公布第三代 AIPU 芯片 Titania 架构,瞄准数据中心推理市场,预计 2027 年第三季度量产,已获超 3 亿美元订单。该芯片针对稀疏 MoE 模型优化,FP8 算力达 2.5 PFLOPS,单台 4U 八卡服务器可本地运行 1.6T MoE 模型,官方称每瓦吞吐量可达现有数据中心服务器的 7 倍。

Marktechpost (@Marktechpost)T2·基座大模型
78 分
百度发布 ERNIE 5.5 Flash Base 280B 稀疏 MoE 模型

百度发布 ERNIE 5.5 Flash Base,这是一个 280B 总参数、14B 激活参数的稀疏 MoE 模型,直接来自预训练阶段,未经中期或后训练。其核心设计是效率优先:43 层中 37 层采用重度压缩注意力,每 128 个 token 仅缓存 1 条记录,多路由器从 512 个专家中选 top-10,末层兼作投机解码草稿模型。官方自报在 MMLU-Pro 与 HumanEval+ 上领先 DeepSeek-V4-Flash-Base,但在 HELMET-Rerank 上落后,且所有数据均为自报。

Hacker News AIT2·基座大模型
78 分
百度开源 ERNIE 5.5 Flash Base 280B 稀疏 MoE 基座模型

百度发布 ERNIE 5.5 Flash Base,这是一个总参数 280B、每 token 激活 14B 的稀疏 MoE 语言模型,基于 33.5T token 从零预训练,训练上下文 128K,微调与推理支持 1M token。发布的是预训练结束、尚未经过中段与后训练的权重,定位为领域适配、指令微调与强化学习研究的通用起点。

IT之家 · 智能时代T2·基座大模型
78 分
百度开源 ERNIE 5.5 Flash Base 基座模型 总参数 280B

百度文心开源 ERNIE-5.5-Flash-Base 预训练终点权重,这是一个总参数 280B、每 token 激活 14B 的稀疏 MoE 语言模型,在 33.5T tokens 上从零预训练,微调与推理支持 1M 上下文。权重未经中训练与后训练,定位为领域适配、指令微调与强化学习研究的共同起点,经过后训练的正式版本将随后推出。

机器之心 (微信公众号)T2·基座大模型
74 分
百度开源文心 5.5 Flash Base 280B 稀疏 MoE 基座模型

百度发布并开放权重文心 5.5 Flash Base,这是一个总参数 280B、每 token 激活 14B 的稀疏 MoE 语言模型,在 33.5T tokens 上从零预训练,训练上下文 128K,微调与推理阶段可外扩至 1M tokens。模型定位为可二次开发的通用基座,已联合 vLLM、SGLang 提供开源生态支持,主打 Agent 长任务链下的效率与成本平衡。

vLLM 官方博客T1·基座大模型
68 分
vLLM 实现 Muse Spark Open Day 0 支持:816B MoE 模型赋能长程智能体编码

vLLM 与 Meta Superintelligence Labs 合作,为开源权重稀疏混合专家模型 Muse Spark Open 提供 Day 0 推理支持。该模型拥有 816B 总参数、42B 激活参数及 1M 上下文窗口,专为长程智能体编码工作流设计,并原生支持多模态感知。通过 Tensor/Pipeline/Expert Parallelism 及 DSpark 投机解码技术,在 Nvidia、AMD 和 TPU 上实现了高效部署与加速。

InfoQ 中文T2·基座大模型
78 分
Reflection AI 开源 Beam MoE 模型:501B 总参仅激活 23B,推理算力降至 GLM-5.2 四分之一

前 Google DeepMind 团队创立的 Reflection AI 发布首个开放权重模型 Beam,采用稀疏混合专家(MoE)架构,总参数 501B 但单次推理仅激活 23B。该模型在高级推理基准上接近智谱 GLM-5.2,但所需计算量仅为后者的 1/4 至 1/3,主打编程与智能体场景的高吞吐低延迟优势。与此同时,英伟达正就投资或收购 Reflection AI 展开早期谈判,旨在深化其在开放模型生态中的布局。

Rohan Paul (@rohanpaul_ai)T2·商业与生态
86 分
Nvidia 洽谈收购或注资 Reflection AI:拟用 Groq 式 acqui-hire 规避反垄断审查

据《金融时报》报道,Nvidia 正与估值 250 亿美元的开源模型初创公司 Reflection AI 进行早期谈判,探讨全面收购或进一步注资。交易可能采用类似此前 Nvidia 收购 Groq 的“acqui-hire”(人才收购+技术授权)模式,以规避反垄断审查。Reflection 上周刚发布稀疏混合专家模型 Beam,宣称在编码和智能体任务上性能对标 GLM 5.2 但推理算力消耗降低 3-4 倍。