术语slug: qwen-sparse-attention

Qwen 稀疏注意力

Qwen Sparse Attention

Qwen4-Max 采用的稀疏注意力机制,用于降低长上下文下的计算与 Token 开销

收录情报动态

共 3 篇 · 第 1/1 页
InfoQ 中文T2·基座大模型
88 分
阿里发布 Qwen4-Max 单任务成本降 58%

阿里巴巴发布新一代基座大模型 Qwen4-Max,总参数 2.4T、激活 71B,采用基于 Qwen 稀疏注意力(QSA)的全新 MoE 架构,支持原生视觉与百万上下文。凭借更少的 Token 消耗,其单任务平均费用较上代降低 58%,前端编程在 CodeArena 盲测中位列全球第六,刷新国产模型最好成绩。模型已在千问 AI 平台开放 API,中小尺寸版本将陆续开源。

量子位官网T2·基座大模型
88 分
阿里发布 Qwen4-Max 2.4T 参数激活 71B

阿里巴巴发布新一代基座大模型 Qwen4-Max,总参数 2.4T、激活 71B,采用 Qwen 稀疏注意力(QSA)的全新 MoE 架构,原生支持视觉与百万上下文。该模型在 CodeArena 前端编程盲测中位列全球第 6,ALE 智能体评测取得 46.7 分,单任务平均费用较上代下降 58%,并已在材料与药物发现中产出真实成果。

千问AI平台 (微信公众号)T2·基座大模型
88 分
阿里发布 Qwen4-Max 总参数 2.4T 支持百万上下文

阿里巴巴发布新一代基座大模型 Qwen4,并在千问 AI 平台首发上线旗舰版 Qwen4-Max,API 与 Token Plan 同步开放。该模型采用基于 Qwen 稀疏注意力(QSA)的全新 MoE 架构,总参数 2.4T,原生支持视觉与百万级上下文,在 Terminal-Bench 4.0 上得分从 37.9 提升至 48.5,单任务 Token 消耗减少近 50%、平均费用降低 58%。官方同时给出汽车制造产线建模与 AI4S 材料发现两类真实落地案例。