腾讯首席 AI 科学家姚顺雨率混元团队在 Reddit 进行 120 分钟 AMA,回应了外界关于参数量路线的质疑。团队称 Hy3 与 Hy4 证明扎实的小模型可超越更大模型且成本更低,但承认 Hy4 在后训练尤其是大规模强化学习上仍有很大改进空间,并明确计划训练更大规模模型,同时考虑推出 240 亿至 310 亿参数稠密模型。
稠密模型
Dense Model
每次推理激活全部参数的模型架构,与稀疏混合专家相对,团队正考虑 240 亿至 310 亿参数版本
收录情报动态
谷歌 ASA 与 Ranking AI Research 团队针对 0.6B 稠密模型的强化学习训练,在 TPU v7 上联合优化 vLLM、Tunix、MaxText 与 Pallas 开源栈,将完整 rollout 到参数更新的循环从约 100 分钟压缩至 56 秒(约 183K tokens/s),提速 107 倍,并保持 8192 token 的完整响应预算。相关改动已全部上游开源,开发者可直接通过 tpu-recipes 配方复现,无需重复环境搭建。
高通在进博会技术分享中提出,终端侧 AI 正从影像、语音转录等单点功能,向具备意图理解与任务编排能力的智能体体验演进。其技术路径强调“端侧优先”的端云协同,并以 MoE 稀疏激活降低单次推理算力开销,配合 NPU 与全栈软件生态推动复杂模型在终端运行。
Nous Research 基于 Qwen3.8-27B 开源了 Arete-27B,仅用 5280 万 token 的监督微调(以 Inkling 为教师模型),未做强化学习或架构改动,即将其自建评测中的宣传式回答占比从 22% 降至 0.9%。代价是事实性均分仅从 2.32 升至 2.98(满分 5),仍落后于 Muse Glimmer 30B,且 803 条评测中仍有 216 条得分为 0;评测集与训练数据均为自建自评。
前谷歌研究员创立的 Ricursive Intelligence 发布 Ripple-65B Preview,一款稠密开放权重模型,在 12T Token 上预训练、支持 1M 上下文,宣称在 TerminalBench 2.1 上优于规模更大的 Meta Muse Spark Open 816B 与 NVIDIA Nemotron 3 Ultra 550B。该模型是公司芯片设计专用模型的通用变体,自述从头训练成本约 3200 万美元。
BOSS 直聘旗下基础模型团队 Nanbeige 以 Apache 2.0 协议开源了 33B 稠密推理模型 Nanbeige4.3-33B,在 Artificial Analysis 智能指数 v5 上取得 20 分,与 Qwen3.8 27B(xhigh)持平。该模型支持 524K token 上下文,可在笔记本本地运行,终端操作与物理推理是相对强项,但知识类基准明显落后于 Qwen3.8 27B。
BOSS 直聘旗下基础模型团队 Nanbeige 以 Apache 2.0 协议开源 33B 稠密推理模型 Nanbeige4.3-33B,在 Artificial Analysis 智能指数 v5 上得 20 分,与 Qwen3.8 27B(xhigh)持平。该模型支持 524K token 上下文、仅文本输入输出,体积小到可在笔记本本地运行,终端操作与物理推理为相对强项,但知识类基准明显落后。
IBM 发布并开源了首个密集解码器架构的 Granite 4.2 推理模型家族,涵盖 3B、8B 和 30B 三种参数规模。该文章详细披露了从 Granite-4.1 基座模型出发,通过合成数据生成(Code Alchemy)及多阶段后训练技术构建高性能推理模型的完整工程路径。
IBM 开源 Granite 4.1 系列 LLM(3B/8B/30B),采用约 15T token 预训练及长上下文扩展技术。其 8B 指令微调版本在推理与工具调用上表现优异,性能匹敌前代 32B MoE 架构,验证了高质量数据工程与 RLHF 对稠密模型的显著提升。所有模型均以 Apache 2.0 协议开源。
通义千问团队正式开源 Qwen3.6-27B,这是一款拥有 270 亿参数的稠密多模态模型。该模型在智能体编程任务上达到旗舰级表现,全面超越前代 MoE 架构的 Qwen3.5-397B-A17B。作为稠密架构,它无需复杂的 MoE 路由即可部署,为开发者提供了在实用规模下获取顶尖编程能力的理想选择。