腾讯 Hy4 正式开源 770B 参数支持百万上下文

原标题:腾讯 Hy4 正式开源,混元 LLM 系列实现全量开放
88AI 研判分

腾讯混元团队正式开源 Hy4 大模型权重,采用 MoE 架构,总参数 770B、激活参数 49B,上下文窗口突破 100 万 Token,并同步开放主打性价比的 Hy4 flash。至此混元 LLM 系列实现全量开源,Hy4 及 Hy4 preview 采用 Apache 2.0 协议允许商用,同时发布安全评估卡片披露防守性网络安全训练策略。

报道正文

IT之家 11 月 20 日消息,腾讯混元团队今日宣布 Hy4 大模型正式开源,模型权重已在 GitHub、Hugging Face、ModelScope 和 GitCode 四个平台同步上线,开发者可自行下载部署。

至此,混元 LLM 系列已完成全部开源,覆盖 Hy3 preview、Hy3、Hy4 preview、Hy4 及 Hy4 flash 等版本。

腾讯 Hy4 正式开源,混元 LLM 系列实现全量开放

Hy4 正式版最早于 11 月 4 日发布,本次开源的是此前预告的模型权重。Hy4 采用 MoE 混合专家架构,总参数 770B,激活参数 49B,上下文窗口突破 100 万 Token。

IT之家此前报道,与旗舰版 Hy4 同步开放的还有主打性价比的 Hy4 flash。Hy4 flash 模型总参数量 224B,其中包含 64B Engram 参数,每个 token 激活 12B 参数,支持多模态输入与 100 万 token 上下文长度,API 价格较 Hy4 大幅降低。

开源协议方面,Hy4 及 Hy4 preview 采用 Apache 2.0 许可证,允许商业使用与修改。腾讯混元同步发布了 Hy4 模型安全评估卡片(System Card),披露了网络安全与生物安全等维度的评估结果。

据官方说明,Hy4 训练数据仅纳入 PoC 生成、漏洞修复等防守性网络安全内容,剔除了漏洞利用、逆向工程与渗透等攻击性数据;腾讯玄武与科恩实验室的审计未发现明显的进攻性能力风险。

参考资料