InfoQ 中文T2·基座大模型
78 分
腾讯混元发布 224B 总参数、12B 激活参数的 Hy4 flash,支持多模态与 1M 上下文,输入 0.5 元/百万 Token。借助 LatentMoE、Engram 与 4bit 量化等优化,其 KV cache 仅为 Hy4 的 1/6,单任务成本低至 Hy4 的 1/20,综合效果略优于 770B 的 Hy4 preview。混元计划开源该模型并高频迭代。
混元模型中独立于激活路径的记忆型参数模块,用于扩充容量而不增加推理开销
腾讯混元发布 224B 总参数、12B 激活参数的 Hy4 flash,支持多模态与 1M 上下文,输入 0.5 元/百万 Token。借助 LatentMoE、Engram 与 4bit 量化等优化,其 KV cache 仅为 Hy4 的 1/6,单任务成本低至 Hy4 的 1/20,综合效果略优于 770B 的 Hy4 preview。混元计划开源该模型并高频迭代。
腾讯混元正式推出 Hy4 flash,总参数 224B、每 token 激活 12B,支持多模态输入与 100 万 token 上下文。通过混合注意力、LatentMoE、Engram 查表参数及 4bit 量化等三阶段协同优化,其单任务成本仅为 Hy4 的 1/20、DeepSeek-V4.1-Flash 的 1/8,官方称综合效果略优于 Hy4 preview,并计划开源。