术语slug: sparse-activation

稀疏激活

Sparse Activation

单次推理仅激活部分参数子集以降低计算开销的模型设计方式

收录情报动态

共 12 篇 · 第 1/2 页
IT之家 · 智能时代T2·开源与评测
78 分
腾讯开源 Hy4 flash 模型 224B 总参数激活 12B

腾讯混元正式开源 Hy4 flash 系列模型,含标准版、FP8 版与 Base 版,开发者可在 GitHub、Hugging Face、ModelScope 与 GitCode 下载部署。该模型总参数量 224B(含 64B Engram 参数),每 token 仅激活 12B,支持多模态输入与 100 万 token 上下文,定位为迄今性价比最高的 Hy 系列模型,并已接入腾讯云 TokenHub、元宝、企业微信等产品。官方同时预告正在加速开源完整 Hy4 模型。

Arena.ai (@arena)T1·基座大模型
78 分
百度发布 ERNIE 5.5 Flash 预览版 280B 参数开源

百度发布 ERNIE 5.5 Flash Preview,采用面向高效推理的新架构,总参数 280B、每 token 激活 14B,支持 100 万 token 上下文,生成速度超过 200 tokens/s。该模型在 Code Arena WebDev 榜单以 1668 分逼近第二名,略高于 DeepSeek-V4.1-Flash 与 Kimi K3,与 Qwen3.8-Max 基本持平,权重将于 11 月 25 日前以 Apache 2.0 开源。

Arena.ai (@arena)T1·基座大模型
78 分
百度发布 ERNIE 5.5 Flash 预览版 280B 总参数 1M 上下文

百度发布 ERNIE 5.5 Flash Preview,采用面向高效推理的新架构,总参数 280B、每 token 激活 14B,支持 1M token 上下文,生成速度超过 200 tokens/秒。该模型已在 Arena 上线测试,官方称在 Terminal-Bench、AutomationBench 等基准上表现有竞争力,模型权重将于 11 月 25 日前开放。

IT之家 · 智能时代T2·基座大模型
78 分
百度发布 ERNIE 5.5 Flash Preview 280B 模型并承诺开源权重

百度文心发布 ERNIE 5.5 Flash Preview,这是 Base 模型的首个后训练版本,总参数 280B、激活参数 14B,支持 1M 上下文,主打编程、3D 建模与内容创作场景。模型 API 已在千帆平台上线,权重将于 11 月 25 日前开源,官方称其为后训练中间版本,正式版仍在快速迭代。

Marktechpost (@Marktechpost)T2·基座大模型
78 分
Thinking Machines 发布 Inkling 2 Small 稀疏 MoE 模型

Thinking Machines Lab 发布 Inkling 2 Small,总参数 594B 的混合专家模型,每个 token 仅激活 17B 参数,在 48 层中从 384 个专家里路由 8 个,并接入 292M 视觉编码器支持图像输入。其在 Artificial Analysis 智能指数上得 31 分,SWE-Bench Pro v2 达 86.3%,但推理速度偏慢、Terminal-Bench 仅 13.1%,目前权重闭源,计划安全测试后以 Apache 2.0 开放。

量子位 (微信公众号)T2·基座大模型
40 分
招商局狮子山实验室发布 35B 具身推理模型 单 Token 仅激活 3B

招商局先进技术研究院下属狮子山人工智能实验室发布具身推理视觉语言模型「驭物™ Lion-ER-35B-A3B」,采用 MoE 架构,总参数约 35B、每 Token 仅激活约 3B,官方称在十项具身相关基准上全部指标上涨,部分能力超过更大参数量模型。其技术路线强调以「能力蓝图」反向设计数据:将具身推理拆为实体、空间、时序、物理、可供性、任务、社会、证据 8 个一级领域、39 项二级能力,再依评测短板闭环迭代数据,而非盲目扩充数据规模。不过文中未披露各项基准的具体数值、对照组配置与模型开放方式,结论仍属厂商主张。

新智元 (微信公众号)T2·开源与评测
78 分
百度开源文心 Unlimited OCR 2,长文档解析登顶全球基准

百度正式开源新一代轻量级文档解析模型文心Unlimited OCR 2。该模型总参数3B但推理仅激活500M,在MarathonDocBench和MPDocBench两大权威基准中均获第一。其核心突破在于支持无上限的超长文档连续解析,实测可一次性处理数千页PDF且保持上下文连贯,显著降低了长文档AI处理的门槛与成本。

腾讯混元 (Tencent Hunyuan)T1·基座大模型
78 分
腾讯发布 Hy4 preview 旗舰模型 770B 总参数支持 1M 上下文

腾讯发布新一代旗舰模型 Hy4 preview,总参数 770B、激活参数 49B,上下文长度扩展至 1M,官方称其稳居开源模型第一梯队。模型通过与腾讯内部软工、游戏、金融、安全等领域专家共建高质量数据,重点强化长程软件开发、办公与科学等真实生产力任务能力。