术语slug: latentmoe

潜在混合专家

LatentMoE

在潜在空间进行专家路由的混合专家架构变体,用于提升稀疏激活效率

收录情报动态

共 2 篇 · 第 1/1 页
InfoQ 中文T2·基座大模型
78 分
腾讯混元发布 Hy4 flash 单任务成本降至 Hy4 的 5%

腾讯混元发布 224B 总参数、12B 激活参数的 Hy4 flash,支持多模态与 1M 上下文,输入 0.5 元/百万 Token。借助 LatentMoE、Engram 与 4bit 量化等优化,其 KV cache 仅为 Hy4 的 1/6,单任务成本低至 Hy4 的 1/20,综合效果略优于 770B 的 Hy4 preview。混元计划开源该模型并高频迭代。

IT之家 · 智能时代T2·基座大模型
78 分
腾讯混元 Hy4 flash 发布 单任务成本降至 Hy4 的 5%

腾讯混元正式推出 Hy4 flash,总参数 224B、每 token 激活 12B,支持多模态输入与 100 万 token 上下文。通过混合注意力、LatentMoE、Engram 查表参数及 4bit 量化等三阶段协同优化,其单任务成本仅为 Hy4 的 1/20、DeepSeek-V4.1-Flash 的 1/8,官方称综合效果略优于 Hy4 preview,并计划开源。