Meta 推出拥有 816B 总参数、42B 激活参数的混合专家(MoE)开源模型 Muse Spark Open,在 Artificial Analysis 智能指数中得分 39,成为美国最强开源权重模型。该模型支持文本、图像、视频和音频输入,通过 NVFP4 量化技术将权重压缩至约 530GB,可在 4 张 Blackwell Ultra GPU 或两台 Mac Studio 上运行。尽管其在智能基准测试中表现优异,但在代理任务评估中排名垫底,显示其自主执行能力仍有短板。
术语slug: gqa
分组查询注意力
GQA
介于 MHA 和 MQA 之间,多个查询头共享一组键值头的注意力机制
收录情报动态
Latent SpaceT1·基座大模型
68 分
InfoQ 中文T2·基座大模型
86 分
阶跃星辰正式开放 Step 5 Preview 模型权重(BF16/FP8),采用 600B 稀疏 MoE 架构并支持百万 token 上下文。该模型专为长程 Agent 任务设计,通过 92 层窄深架构与 Sparse GQA 优化长上下文中的目标一致性与中间状态管理,原生适配跨文件代码修改-执行-验证闭环。
IT之家 · 智能时代T2·基座大模型
86 分
阶跃星辰正式开源 Step 5 Preview 模型权重,该模型采用总参数 600B、激活参数 27B 的稀疏 MoE 架构,原生支持文本与视觉输入及 100 万 token 超长上下文。通过引入 92 层窄深架构、Sparse GQA 块级索引及面向长程任务的强化学习策略,显著降低计算开销并提升多跳推理稳定性,目前已在 OpenRouter 调用量榜单位居全球第二。
vLLM 官方博客T1·开发与工程
78 分
vLLM 推出解码上下文并行(DCP)技术,专门解决长上下文推理中 KV Cache 在张量并行下因 GQA/MLA 架构导致的显存复制与容量瓶颈。该方案通过优化解码阶段的上下文分布,显著提升了 NVIDIA B200 GPU 上 Kimi K2.6 等模型处理 64K 至 1M Token 智能体工作负载的并发能力与内存效率。
Ahead of AI (Sebastian Raschka)T2·基座大模型
42 分
AI 教育者 Sebastian Raschka 上线了一个包含 45 种主流大模型架构的可视化画廊,旨在系统梳理注意力机制变体。该资源整合了过往文章与未收录的重要架构,提供直观的模型卡片以辅助理解不同设计原理。
Hugging Face BlogT1·基座大模型
68 分
微软推出 Differential Transformer V2,通过在同一 GQA 组内减去两个共享键值的头来优化差分注意力机制。该版本旨在提升计算性能并简化实现,代码已开源。