术语slug: dense-model

稠密模型

Dense Model

每次推理激活全部参数的模型架构,与稀疏混合专家相对,团队正考虑 240 亿至 310 亿参数版本

收录情报动态

共 11 篇 · 第 1/2 页
IT之家 · 智能时代T2·基座大模型
62 分
腾讯混元姚顺雨团队回应参数路线 计划训练更大规模模型

腾讯首席 AI 科学家姚顺雨率混元团队在 Reddit 进行 120 分钟 AMA,回应了外界关于参数量路线的质疑。团队称 Hy3 与 Hy4 证明扎实的小模型可超越更大模型且成本更低,但承认 Hy4 在后训练尤其是大规模强化学习上仍有很大改进空间,并明确计划训练更大规模模型,同时考虑推出 240 亿至 310 亿参数稠密模型。

vLLM 官方博客T1·算力与基建
78 分
谷歌 TPU v7 强化学习训练提速 107 倍

谷歌 ASA 与 Ranking AI Research 团队针对 0.6B 稠密模型的强化学习训练,在 TPU v7 上联合优化 vLLM、Tunix、MaxText 与 Pallas 开源栈,将完整 rollout 到参数更新的循环从约 100 分钟压缩至 56 秒(约 183K tokens/s),提速 107 倍,并保持 8192 token 的完整响应预算。相关改动已全部上游开源,开发者可直接通过 tpu-recipes 配方复现,无需重复环境搭建。

量子位官网T2·算力与基建
42 分
高通谈终端侧 AI 演进:MoE 模型推动端侧智能体落地

高通在进博会技术分享中提出,终端侧 AI 正从影像、语音转录等单点功能,向具备意图理解与任务编排能力的智能体体验演进。其技术路径强调“端侧优先”的端云协同,并以 MoE 稀疏激活降低单次推理算力开销,配合 NPU 与全栈软件生态推动复杂模型在终端运行。

Marktechpost (@Marktechpost)T2·开源与评测
72 分
Nous Research 开源 Arete-27B 微调模型 去除中文官方叙事倾向

Nous Research 基于 Qwen3.8-27B 开源了 Arete-27B,仅用 5280 万 token 的监督微调(以 Inkling 为教师模型),未做强化学习或架构改动,即将其自建评测中的宣传式回答占比从 22% 降至 0.9%。代价是事实性均分仅从 2.32 升至 2.98(满分 5),仍落后于 Muse Glimmer 30B,且 803 条评测中仍有 216 条得分为 0;评测集与训练数据均为自建自评。

IT之家 · 智能时代T2·基座大模型
72 分
Ricursive 发布 Ripple-65B Preview 开放权重智能体编程模型

前谷歌研究员创立的 Ricursive Intelligence 发布 Ripple-65B Preview,一款稠密开放权重模型,在 12T Token 上预训练、支持 1M 上下文,宣称在 TerminalBench 2.1 上优于规模更大的 Meta Muse Spark Open 816B 与 NVIDIA Nemotron 3 Ultra 550B。该模型是公司芯片设计专用模型的通用变体,自述从头训练成本约 3200 万美元。

Artificial AnalysisT1·基座大模型
72 分
BOSS 直聘团队开源 Nanbeige4.3-33B 智能指数达 20 分

BOSS 直聘旗下基础模型团队 Nanbeige 以 Apache 2.0 协议开源了 33B 稠密推理模型 Nanbeige4.3-33B,在 Artificial Analysis 智能指数 v5 上取得 20 分,与 Qwen3.8 27B(xhigh)持平。该模型支持 524K token 上下文,可在笔记本本地运行,终端操作与物理推理是相对强项,但知识类基准明显落后于 Qwen3.8 27B。

Artificial Analysis (@ArtificialAnlys)T1·基座大模型
72 分
BOSS 直聘团队开源 Nanbeige4.3-33B 推理模型,综合智能追平 Qwen3.8 27B

BOSS 直聘旗下基础模型团队 Nanbeige 以 Apache 2.0 协议开源 33B 稠密推理模型 Nanbeige4.3-33B,在 Artificial Analysis 智能指数 v5 上得 20 分,与 Qwen3.8 27B(xhigh)持平。该模型支持 524K token 上下文、仅文本输入输出,体积小到可在笔记本本地运行,终端操作与物理推理为相对强项,但知识类基准明显落后。

Hugging Face BlogT1·基座大模型
68 分
IBM 开源 Granite 4.2:详解推理模型构建全流程

IBM 发布并开源了首个密集解码器架构的 Granite 4.2 推理模型家族,涵盖 3B、8B 和 30B 三种参数规模。该文章详细披露了从 Granite-4.1 基座模型出发,通过合成数据生成(Code Alchemy)及多阶段后训练技术构建高性能推理模型的完整工程路径。

Hugging Face BlogT1·基座大模型
78 分
IBM Granite 4.1 发布:8B 稠密模型性能比肩 32B MoE

IBM 开源 Granite 4.1 系列 LLM(3B/8B/30B),采用约 15T token 预训练及长上下文扩展技术。其 8B 指令微调版本在推理与工具调用上表现优异,性能匹敌前代 32B MoE 架构,验证了高质量数据工程与 RLHF 对稠密模型的显著提升。所有模型均以 Apache 2.0 协议开源。

Qwen 官方博客 (通义)T1·基座大模型
85 分
Qwen3.6-27B 开源:稠密模型编程能力超越前代旗舰

通义千问团队正式开源 Qwen3.6-27B,这是一款拥有 270 亿参数的稠密多模态模型。该模型在智能体编程任务上达到旗舰级表现,全面超越前代 MoE 架构的 Qwen3.5-397B-A17B。作为稠密架构,它无需复杂的 MoE 路由即可部署,为开发者提供了在实用规模下获取顶尖编程能力的理想选择。