术语slug: gqa

分组查询注意力

GQA

介于 MHA 和 MQA 之间,多个查询头共享一组键值头的注意力机制

收录情报动态

共 6 篇 · 第 1/1 页
Latent SpaceT1·基座大模型
68 分
Meta 发布 Muse Spark Open 开源模型,主打多模态与低显存部署

Meta 推出拥有 816B 总参数、42B 激活参数的混合专家(MoE)开源模型 Muse Spark Open,在 Artificial Analysis 智能指数中得分 39,成为美国最强开源权重模型。该模型支持文本、图像、视频和音频输入,通过 NVFP4 量化技术将权重压缩至约 530GB,可在 4 张 Blackwell Ultra GPU 或两台 Mac Studio 上运行。尽管其在智能基准测试中表现优异,但在代理任务评估中排名垫底,显示其自主执行能力仍有短板。

InfoQ 中文T2·基座大模型
86 分
阶跃星辰开源 Step 5 Preview:600B MoE 架构支持百万上下文,聚焦长程 Agent 状态管理

阶跃星辰正式开放 Step 5 Preview 模型权重(BF16/FP8),采用 600B 稀疏 MoE 架构并支持百万 token 上下文。该模型专为长程 Agent 任务设计,通过 92 层窄深架构与 Sparse GQA 优化长上下文中的目标一致性与中间状态管理,原生适配跨文件代码修改-执行-验证闭环。

IT之家 · 智能时代T2·基座大模型
86 分
阶跃 Step 5 Preview 开源:600B MoE 架构支持百万上下文,专为长程 Agent 任务优化

阶跃星辰正式开源 Step 5 Preview 模型权重,该模型采用总参数 600B、激活参数 27B 的稀疏 MoE 架构,原生支持文本与视觉输入及 100 万 token 超长上下文。通过引入 92 层窄深架构、Sparse GQA 块级索引及面向长程任务的强化学习策略,显著降低计算开销并提升多跳推理稳定性,目前已在 OpenRouter 调用量榜单位居全球第二。

vLLM 官方博客T1·开发与工程
78 分
vLLM 引入解码上下文并行:突破 MLA/GQA 长文本推理显存瓶颈,支持百万级 Token 智能体负载

vLLM 推出解码上下文并行(DCP)技术,专门解决长上下文推理中 KV Cache 在张量并行下因 GQA/MLA 架构导致的显存复制与容量瓶颈。该方案通过优化解码阶段的上下文分布,显著提升了 NVIDIA B200 GPU 上 Kimi K2.6 等模型处理 64K 至 1M Token 智能体工作负载的并发能力与内存效率。

Ahead of AI (Sebastian Raschka)T2·基座大模型
42 分
Sebastian Raschka 发布 LLM 架构可视化指南

AI 教育者 Sebastian Raschka 上线了一个包含 45 种主流大模型架构的可视化画廊,旨在系统梳理注意力机制变体。该资源整合了过往文章与未收录的重要架构,提供直观的模型卡片以辅助理解不同设计原理。