术语slug: sparse-attention

稀疏注意力

Sparse Attention

让每个 query 只关注少数相关历史 token 以降低长上下文计算量的机制

收录情报动态

共 23 篇 · 第 1/3 页
机器之心 (微信公众号)T2·基座大模型
78 分
LSA 新方法让千万 token 注意力提速 72 倍

伦敦初创公司 Prefrontal AI 与苏黎世联邦理工学院联合提出 Latent Sparse Attention(LSA),把稀疏注意力的瓶颈从注意力计算转移到索引器开销上,在 10M token 下将 GLM-5.3-Flash 单层 prefill 提速 22.7 倍、Qwen3.8-27B 提速 72.4 倍,同时保持与原模型相近的精度。该方法直指超长上下文场景下索引器开销随长度二次方增长的核心矛盾,为千万级上下文提供了亚二次复杂度的可行路径。

Marktechpost (@Marktechpost)T2·基座大模型
88 分
阿里发布 2.4T 参数 Qwen4-Max 旗舰模型

阿里巴巴发布 Qwen4-Max,采用 2.4 万亿参数稀疏 MoE 架构,单 token 仅激活 71B 参数,输入定价为每百万 token 1.5 美元。核心创新在于重建的稀疏 MoE 栈:3 层 Gated DeltaNet 为每层 Qwen Sparse Attention 压缩历史,配合轻量索引器选取上下文,并叠加 4 条门控残差分支与 328B N-gram Embedding 参数。该模型在 16 项基准中的 4 项登顶,但编程与终端任务明显落后于 Claude Opus 5.5 与 Kimi K3.1,呈现明显的取舍。

IT之家 · 智能时代T2·基座大模型
88 分
阿里发布 2.4 万亿参数 Qwen4-Max 任务成本降超 60%

阿里通义千问团队正式上线旗舰模型 Qwen4-Max,采用 2.4 万亿参数稀疏 MoE 架构,原生支持视觉理解与 100 万 Token 上下文,官方称同等性能下任务成本降低超 60%。模型围绕 Gated DeltaNet、Qwen Sparse Attention、Gated Residual 与 N-gram Embedding 做系统性架构调整,面向办公、编程、科研等长周期专业任务,并已通过 QwenCloud API 开放,后续将陆续开源小尺寸同源模型。

IT之家 · 智能时代T2·算力与基建
58 分
摩尔线程完成 Kimi K3.1 Pro 的 Day-0 适配,支持文本与图片推理

摩尔线程宣布基于 MTT S5000 智算卡与 MUSA 软件栈,在月之暗面开源 Kimi K3.1 Pro 当天完成 Day-0 适配,打通模型加载、服务启动及文本与图片推理链路。适配重点包括稀疏注意力 DSA 的索引选择与 KV 缓存布局、MXFP4 专家权重的在线 FP8 转换,以及视觉 Attention 接入。这标志着国产 GPU 软件栈对 3 万亿参数级 MoE 模型的跟进速度明显提升。

量子位官网T2·基座大模型
78 分
百度开源文心 5.5 Flash Base 2800 亿参数 MoE 刷新同尺寸 SOTA

百度正式开源基座模型文心 5.5 Flash Base,采用 2800 亿总参数、每 Token 激活 140 亿的 MoE 架构,预训练使用 33.5 万亿 Token,微调与推理支持最长 100 万 Token 上下文。模型在知识、推理、数学、代码、多语言与长上下文等基准上取得同尺寸 SOTA,超过 DeepSeek-V4-Flash-Base 等同类模型。其核心创新围绕效率展开,包括 Latent-Gated Sparse Attention、Multi-Router Latent MoE 与复用主干末层的 ECHO 训练目标。

Marktechpost (@Marktechpost)T2·基座大模型
78 分
Zyphra 发布 ZHA 分层注意力机制,长上下文推理效率显著提升

Zyphra 推出 ZHA(分层注意力)稀疏注意力方法,通过构建 KV 缓存树状结构实现高效检索。该方法在 Qwen3.6-35B 模型上仅需读取约 1.1% 的键值即可在 LongBench v2 上超越密集注意力基线,且训练成本极低(仅优化 8 万参数)。尽管在特定基准测试中存在性能权衡,但其为长上下文处理提供了新的架构思路。

vLLM 官方博客T1·开发与工程
68 分
vLLM 发布 MiniMax-M3.1-Flash Day-0 支持

vLLM 宣布对 MiniMax-M3.1-Flash 模型提供 Day-0 支持,覆盖 NVIDIA Blackwell/Rubin 及 AMD MI350 GPU。该集成引入了 NVFP4 KV 缓存、稀疏注意力内核优化及推测解码技术,显著提升了长上下文推理效率与吞吐量。