伦敦初创公司 Prefrontal AI 与苏黎世联邦理工学院联合提出 Latent Sparse Attention(LSA),把稀疏注意力的瓶颈从注意力计算转移到索引器开销上,在 10M token 下将 GLM-5.3-Flash 单层 prefill 提速 22.7 倍、Qwen3.8-27B 提速 72.4 倍,同时保持与原模型相近的精度。该方法直指超长上下文场景下索引器开销随长度二次方增长的核心矛盾,为千万级上下文提供了亚二次复杂度的可行路径。
稀疏注意力
Sparse Attention
让每个 query 只关注少数相关历史 token 以降低长上下文计算量的机制
收录情报动态
阿里巴巴发布 Qwen4-Max,采用 2.4 万亿参数稀疏 MoE 架构,单 token 仅激活 71B 参数,输入定价为每百万 token 1.5 美元。核心创新在于重建的稀疏 MoE 栈:3 层 Gated DeltaNet 为每层 Qwen Sparse Attention 压缩历史,配合轻量索引器选取上下文,并叠加 4 条门控残差分支与 328B N-gram Embedding 参数。该模型在 16 项基准中的 4 项登顶,但编程与终端任务明显落后于 Claude Opus 5.5 与 Kimi K3.1,呈现明显的取舍。
阿里通义千问团队正式上线旗舰模型 Qwen4-Max,采用 2.4 万亿参数稀疏 MoE 架构,原生支持视觉理解与 100 万 Token 上下文,官方称同等性能下任务成本降低超 60%。模型围绕 Gated DeltaNet、Qwen Sparse Attention、Gated Residual 与 N-gram Embedding 做系统性架构调整,面向办公、编程、科研等长周期专业任务,并已通过 QwenCloud API 开放,后续将陆续开源小尺寸同源模型。
摩尔线程宣布基于 MTT S5000 智算卡与 MUSA 软件栈,在月之暗面开源 Kimi K3.1 Pro 当天完成 Day-0 适配,打通模型加载、服务启动及文本与图片推理链路。适配重点包括稀疏注意力 DSA 的索引选择与 KV 缓存布局、MXFP4 专家权重的在线 FP8 转换,以及视觉 Attention 接入。这标志着国产 GPU 软件栈对 3 万亿参数级 MoE 模型的跟进速度明显提升。
百度正式开源基座模型文心 5.5 Flash Base,采用 2800 亿总参数、每 Token 激活 140 亿的 MoE 架构,预训练使用 33.5 万亿 Token,微调与推理支持最长 100 万 Token 上下文。模型在知识、推理、数学、代码、多语言与长上下文等基准上取得同尺寸 SOTA,超过 DeepSeek-V4-Flash-Base 等同类模型。其核心创新围绕效率展开,包括 Latent-Gated Sparse Attention、Multi-Router Latent MoE 与复用主干末层的 ECHO 训练目标。
vLLM 宣布对 Moonshot AI 最新开源模型 Kimi K3.1 Pro 提供 Day-0 支持。该模型采用 2.8T 参数混合专家架构并引入稀疏注意力(DSA),vLLM 通过 Token 分片预填充和解码上下文并行等技术,在长上下文场景下显著提升推理效率与吞吐量。
Zyphra 推出 ZHA(分层注意力)稀疏注意力方法,通过构建 KV 缓存树状结构实现高效检索。该方法在 Qwen3.6-35B 模型上仅需读取约 1.1% 的键值即可在 LongBench v2 上超越密集注意力基线,且训练成本极低(仅优化 8 万参数)。尽管在特定基准测试中存在性能权衡,但其为长上下文处理提供了新的架构思路。
英伟达与麻省理工学院团队在 Hugging Face 发布基于 MiniMax H3 的视频增强项目 Open-H3-Regenerate-2K。该方案通过 LoRA 微调与潜空间放大技术,将低分辨率视频草稿重生成至最高 4K 分辨率,推理速度较未优化版本提升约 3.9 倍,且在感知质量评测中优于官方 API。
MiniMax 正式开源 M3.1 Flash 模型权重,采用总参数 428B、激活参数 23B 的稀疏架构。该版本通过全模型稀疏注意力、量化感知训练及功耗感知调度显著提升了推理效率,并联合多家芯片厂商与云平台实现首日接入。
vLLM 宣布对 MiniMax-M3.1-Flash 模型提供 Day-0 支持,覆盖 NVIDIA Blackwell/Rubin 及 AMD MI350 GPU。该集成引入了 NVFP4 KV 缓存、稀疏注意力内核优化及推测解码技术,显著提升了长上下文推理效率与吞吐量。