术语slug: n-gram-embedding

N-gram Embedding

以连续 n-gram 片段作为额外嵌入参数、与主干参数分离的模型结构设计

收录情报动态

共 2 篇 · 第 1/1 页
Qwen 官方博客 (通义)T1·基座大模型
88 分
阿里发布 Qwen4-Max 2.4 万亿参数模型

阿里通义千问团队正式发布 Qwen4-Max,基于 Qwen4 全新架构,拥有 2.4 万亿主干参数、每 token 激活 71B 参数,并配备 328B N-gram Embedding 参数,原生支持视觉与百万 token 上下文。官方称其在编程、办公与长程任务上全面超越 Qwen3.8-Max,同时 token 消耗降低约 24%-49%,API 定价大幅下调,Work360 单任务平均费用下降 58%。