Thinking Machines 发布开源模型 Inkling 2 Mini,采用循环 Transformer 架构,24 层中有 12 层对每个 token 重复执行三次,从而在不增加输出 token 的前提下延长内部推理。该模型为 26.4B 参数的混合专家模型,每 token 激活 5.4B,支持文本与图像输入、100 万 token 上下文,采用 Apache 2.0 许可,可在笔记本上运行。在 100B 以下开源模型中,其智能体编程测试成绩领先,DeepSWE v1.1 得分 48.2%,Vals Index v2.2 得分 46.5%。
混合专家模型
MoE
以门控机制在单次推理中稀疏激活部分专家子网络的架构,可大幅降低计算量。
收录情报动态
腾讯混元团队在 Reddit 举行 AMA,围绕本月发布的旗舰模型 Hy4 与轻量版 Hy4 flash 回应开发者提问。团队确认 Hy 小模型与面向 24GB 显存的版本已进入路线图,并披露 Flash 采用从旗舰蒸馏加强化学习压缩推理链、以缓解过度思考的训练路径。
Thinking Machines 发布 Inkling 2 Mini,一款总参数 26B、激活参数 5.4B 的混合专家模型,采用循环层(looped transformer)架构,以 Apache 2.0 协议开源,支持文本与图像输入及 100 万 token 上下文。它在 Artificial Analysis 智能指数上取得 20 分,与 Qwen3.8 27B、Nanbeige4.3-33B 持平,但激活参数分别少约 5 倍和 6 倍,处于智能与参数规模的帕累托前沿,且小到可在 MacBook 或 DGX Spark 上本地运行。
Thinking Machines 发布 Inkling 2 Mini,这是一款总参数 26B、激活参数 5.4B 的循环 Transformer 混合专家模型,在 Artificial Analysis 智能指数上得分 20,处于智能与激活参数权衡的帕累托前沿。模型采用 Apache 2.0 许可,支持文本与图像输入及 1M token 上下文,体积小到可在 MacBook 或 DGX Spark 上本地运行。
Inkling 发布开源权重模型 Inkling 2 Mini,采用循环 Transformer 架构,对每个 token 重复运行中间层三次,以更少 token 完成推理。该模型为 MoE 结构,总参数 26.4B、激活 3.4B,在 DeepSWE v1.1 取得 48.2%、Vals Index v2.2 取得 46.5%,称领先所有 100B 以下开源权重模型,并可在笔记本本地运行。
上海 AI Lab 开源 Sage S2.1 Flash,一个总参数量 320B 的混合专家智能体模型,并公开完整训练流程与技术细节。该模型在四项智能体基准上取得 SOTA,核心亮点是将科学多模态感知(如从 12,487 张 CT 切片重建三维骨骼模型)融入通用智能体,通过调度 3D Slicer 等专业软件完成长程任务。
腾讯混元团队正式开源 Hy4 大模型权重,采用 MoE 架构,总参数 770B、激活参数 49B,上下文窗口突破 100 万 Token,并同步开放主打性价比的 Hy4 flash。至此混元 LLM 系列实现全量开源,Hy4 及 Hy4 preview 采用 Apache 2.0 协议允许商用,同时发布安全评估卡片披露防守性网络安全训练策略。
Thinking Machines Lab 与 Hugging Face 联合发布 Inkling 2 Mini,这是一款面向本地部署的多模态混合专家模型,物理参数约 26B、每 token 激活 3B。其核心创新在于部分层循环三次以放大有效容量,支持 100 万 token 上下文与图文输入,并以 NVFP4/MXFP8 混合精度权重加 DSpark 草稿模型实现加速。
Thinking Machines 发布多模态 MoE 模型 Inkling 2 Mini,总参数 26B、激活参数 3.5B,支持最高 100 万 token 上下文,并内置 DSpark 推测器。其核心创新在于中间 12 层以共享权重循环执行三次,每轮保留独立 KV 缓存并读取上一轮的门控消息。vLLM 在 NVIDIA Blackwell、Hopper 与 DGX Spark 上实现 Day-0 支持。
面壁智能宣布,截至 2026 年 11 月,MiniCPM 家族模型全球下载量已超 7000 万次,成为国产端侧开源模型的重要里程碑。其 10 月发布的 MiniCPM-V 4.7 首次引入 MoE 架构,35B-A3B 版本可在 iPhone 17 Pro Max 上以 3GB 内存实现 13+ token/s 解码,并已深度赋能三星 Galaxy AI 旗舰产品线。