高通在进博会技术分享中提出,终端侧 AI 正从影像、语音转录等单点功能,向具备意图理解与任务编排能力的智能体体验演进。其技术路径强调“端侧优先”的端云协同,并以 MoE 稀疏激活降低单次推理算力开销,配合 NPU 与全栈软件生态推动复杂模型在终端运行。
混合专家
Mixture-of-Experts (MoE)
一种稀疏激活多个子网络以提升容量与效率的模型架构
收录情报动态
开源项目 llama-modchip v2.4.0 宣称可在 64GB 内存的纯 CPU 工作站上运行 284B 参数的 DeepSeek-V4-Flash 混合专家模型,峰值内存占用 57.61 GiB,256K 上下文下解码约 9–15 tok/s。项目通过 SwiGLU-H2 等量化与内存优化压缩权重,并提供 Fractal-64/MXFP4 转码与状态检查工具链。
独立研究者发布 MAPLE,一种面向混合专家大模型的结构化剪枝方法,通过剔除休眠专家把 Gemma 4 26B-A4B 从 9.92 GB 压到 4.75 GB(约 1.48 比特/参数),使模型可完全驻留 6 GB 笔记本显存并以 45.4 tokens/s 推理。该方案针对 Python 编程与 STEM 推理做领域特化,作者称流程可迁移到其他垂直领域。
AI 芯片设计公司 Ricursive Intelligence 训练并开源了 Ripple-65B Preview,该模型基于 12 万亿 token 预训练,采用 65B 稠密 Transformer 架构而非混合专家,在 TerminalBench 2.1 编程基准上取得 80.52 分,为美国开源模型最佳成绩。模型以 Apache 2.0 许可发布在 Hugging Face,官方称全部研发训练成本仅 3200 万美元,但综合基准仍不及同期发布的 Inkling 2 Small。
微软拒绝续签 2023 年围绕 Bing 构建的 Oracle 合同,转而停用其租用的 AI 服务器,核心原因是 Oracle 硬件搭载的老一代 Nvidia 芯片已不匹配微软规格。按 GPU 小时计费下,Blackwell 单卡推理产出数倍于 H100,Hopper/Ampere 每小时的实际算力性价比大幅下降。这一事件显示前沿 MoE 模型对显存容量与 GPU 互联带宽的要求,正推动算力采购从单卡性能转向整机架规模。
摩尔线程宣布基于 MTT S5000 智算卡与 MUSA 软件栈,在月之暗面开源 Kimi K3.1 Pro 当天完成 Day-0 适配,打通模型加载、服务启动及文本与图片推理链路。适配重点包括稀疏注意力 DSA 的索引选择与 KV 缓存布局、MXFP4 专家权重的在线 FP8 转换,以及视觉 Attention 接入。这标志着国产 GPU 软件栈对 3 万亿参数级 MoE 模型的跟进速度明显提升。
前 OpenAI CTO Mira Murati 创办的 Thinking Machines 发布 Inkling 2 Small,采用 5940 亿参数混合专家架构,单次推理仅激活 170 亿参数。该模型在 Artificial Analysis 智能指数上得分 31,较前代提升 18 分,与 Gemini 3.8 Flash 大致持平,智能体任务提升尤为明显,但单任务成本升至前代六倍。模型初期通过 Tinker 平台以闭源形式提供,后续将以 Apache 许可证开放权重。
墨芯人工智能在 5 个月内完成第二轮近 10 亿元人民币融资,资金将用于推进其“权重稀疏化+激活稀疏化”双稀疏算法与专用推理芯片路线。文章以 DeepSeek-V4-Pro 约 1.6 万亿总参数、单 token 仅激活约 490 亿参数为例,论证 MoE 条件计算正把稀疏计算推向算力设计核心,而通用 GPU 难以针对稀疏模式做深度协同优化。
Thinking Machines Lab 发布 Inkling 2 Small,总参数 594B 的混合专家模型,每个 token 仅激活 17B 参数,在 48 层中从 384 个专家里路由 8 个,并接入 292M 视觉编码器支持图像输入。其在 Artificial Analysis 智能指数上得 31 分,SWE-Bench Pro v2 达 86.3%,但推理速度偏慢、Terminal-Bench 仅 13.1%,目前权重闭源,计划安全测试后以 Apache 2.0 开放。
由前 OpenAI CTO Mira Murati 创立的 Thinking Machines Lab 正以 400 亿美元投前估值筹集 50 亿美元,此前其 500 亿美元估值的融资谈判曾破裂。同日该实验室发布第二代模型 Inkling 2 Small,采用 MoE 架构,参数规模 594B-A17B,并计划下周以 Apache 2.0 许可开放权重。