术语slug: engram-parameters

Engram 参数

Engram Parameters

Hy4 flash 中独立于激活路径的 64B 参数模块,用于扩展模型记忆与知识容量

收录情报动态

共 1 篇 · 第 1/1 页
IT之家 · 智能时代T2·开源与评测
78 分
腾讯开源 Hy4 flash 模型 224B 总参数激活 12B

腾讯混元正式开源 Hy4 flash 系列模型,含标准版、FP8 版与 Base 版,开发者可在 GitHub、Hugging Face、ModelScope 与 GitCode 下载部署。该模型总参数量 224B(含 64B Engram 参数),每 token 仅激活 12B,支持多模态输入与 100 万 token 上下文,定位为迄今性价比最高的 Hy 系列模型,并已接入腾讯云 TokenHub、元宝、企业微信等产品。官方同时预告正在加速开源完整 Hy4 模型。