术语slug: mixture-of-experts-moe

混合专家

Mixture-of-Experts (MoE)

一种稀疏激活多个子网络以提升容量与效率的模型架构

收录情报动态

共 89 篇 · 第 1/9 页
量子位官网T2·算力与基建
42 分
高通谈终端侧 AI 演进:MoE 模型推动端侧智能体落地

高通在进博会技术分享中提出,终端侧 AI 正从影像、语音转录等单点功能,向具备意图理解与任务编排能力的智能体体验演进。其技术路径强调“端侧优先”的端云协同,并以 MoE 稀疏激活降低单次推理算力开销,配合 NPU 与全栈软件生态推动复杂模型在终端运行。

Hacker News AIT2·开源与评测
74 分
llama-modchip 让 284B DeepSeek 在 64GB 内存纯 CPU 运行

开源项目 llama-modchip v2.4.0 宣称可在 64GB 内存的纯 CPU 工作站上运行 284B 参数的 DeepSeek-V4-Flash 混合专家模型,峰值内存占用 57.61 GiB,256K 上下文下解码约 9–15 tok/s。项目通过 SwiGLU-H2 等量化与内存优化压缩权重,并提供 Fractal-64/MXFP4 转码与状态检查工具链。

Hacker News AIT2·开源与评测
62 分
MAPLE 剪枝让 Gemma 4 26B 在 6GB 显卡跑出 45 TPS

独立研究者发布 MAPLE,一种面向混合专家大模型的结构化剪枝方法,通过剔除休眠专家把 Gemma 4 26B-A4B 从 9.92 GB 压到 4.75 GB(约 1.48 比特/参数),使模型可完全驻留 6 GB 笔记本显存并以 45.4 tokens/s 推理。该方案针对 Python 编程与 STEM 推理做领域特化,作者称流程可迁移到其他垂直领域。

The DecoderT2·基座大模型
74 分
Ricursive 发布 Ripple-65B Preview 开源模型 智能体编程表现亮眼

AI 芯片设计公司 Ricursive Intelligence 训练并开源了 Ripple-65B Preview,该模型基于 12 万亿 token 预训练,采用 65B 稠密 Transformer 架构而非混合专家,在 TerminalBench 2.1 编程基准上取得 80.52 分,为美国开源模型最佳成绩。模型以 Apache 2.0 许可发布在 Hugging Face,官方称全部研发训练成本仅 3200 万美元,但综合基准仍不及同期发布的 Inkling 2 Small。

Rohan Paul (@rohanpaul_ai)T2·算力与基建
72 分
微软停用从 Oracle 租用的旧款 AI 服务器,算力代际更替加速

微软拒绝续签 2023 年围绕 Bing 构建的 Oracle 合同,转而停用其租用的 AI 服务器,核心原因是 Oracle 硬件搭载的老一代 Nvidia 芯片已不匹配微软规格。按 GPU 小时计费下,Blackwell 单卡推理产出数倍于 H100,Hopper/Ampere 每小时的实际算力性价比大幅下降。这一事件显示前沿 MoE 模型对显存容量与 GPU 互联带宽的要求,正推动算力采购从单卡性能转向整机架规模。

IT之家 · 智能时代T2·算力与基建
58 分
摩尔线程完成 Kimi K3.1 Pro 的 Day-0 适配,支持文本与图片推理

摩尔线程宣布基于 MTT S5000 智算卡与 MUSA 软件栈,在月之暗面开源 Kimi K3.1 Pro 当天完成 Day-0 适配,打通模型加载、服务启动及文本与图片推理链路。适配重点包括稀疏注意力 DSA 的索引选择与 KV 缓存布局、MXFP4 专家权重的在线 FP8 转换,以及视觉 Attention 接入。这标志着国产 GPU 软件栈对 3 万亿参数级 MoE 模型的跟进速度明显提升。

The DecoderT2·基座大模型
78 分
Thinking Machines 发布 Inkling 2 Small 开源权重模型登顶西方榜首

前 OpenAI CTO Mira Murati 创办的 Thinking Machines 发布 Inkling 2 Small,采用 5940 亿参数混合专家架构,单次推理仅激活 170 亿参数。该模型在 Artificial Analysis 智能指数上得分 31,较前代提升 18 分,与 Gemini 3.8 Flash 大致持平,智能体任务提升尤为明显,但单任务成本升至前代六倍。模型初期通过 Tinker 平台以闭源形式提供,后续将以 Apache 许可证开放权重。

量子位官网T2·算力与基建
58 分
墨芯完成近 10 亿元 C+ 轮融资 押注稀疏推理芯片

墨芯人工智能在 5 个月内完成第二轮近 10 亿元人民币融资,资金将用于推进其“权重稀疏化+激活稀疏化”双稀疏算法与专用推理芯片路线。文章以 DeepSeek-V4-Pro 约 1.6 万亿总参数、单 token 仅激活约 490 亿参数为例,论证 MoE 条件计算正把稀疏计算推向算力设计核心,而通用 GPU 难以针对稀疏模式做深度协同优化。

Marktechpost (@Marktechpost)T2·基座大模型
78 分
Thinking Machines 发布 Inkling 2 Small 稀疏 MoE 模型

Thinking Machines Lab 发布 Inkling 2 Small,总参数 594B 的混合专家模型,每个 token 仅激活 17B 参数,在 48 层中从 384 个专家里路由 8 个,并接入 292M 视觉编码器支持图像输入。其在 Artificial Analysis 智能指数上得 31 分,SWE-Bench Pro v2 达 86.3%,但推理速度偏慢、Terminal-Bench 仅 13.1%,目前权重闭源,计划安全测试后以 Apache 2.0 开放。