术语slug: mla

多潜头注意力

MLA

将键值压缩为低维潜在向量以大幅降低 KV 缓存开销的注意力机制

收录情报动态

共 3 篇 · 第 1/1 页
Hacker News AIT2·开源与评测
72 分
开发者用 190 行纯 JAX 复现 DeepSeek V3

开发者发布开源项目,用约 190 行纯 JAX 代码从零实现 DeepSeek V3 核心架构,包含多头潜在注意力(MLA)、解耦 RoPE、DeepSeekMoE 与无辅助损失负载均衡等关键设计,并在 MacBook Air 上完成预训练。项目不依赖 Flax、Equinox 或 PyTorch,参数以纯字典数组表示,代码可逐行阅读,是理解前沿 MoE 架构的高价值教学与实验范本。

vLLM 官方博客T1·基座大模型
88 分
vLLM 发布 Mistral Large 4 Day-0 支持 集成稀疏注意力与多模态架构

vLLM 宣布对 Mistral Large 4 的 Day-0 原生支持,该模型采用混合专家(MoE)与原生多模态架构。此次集成不仅适配了 DeepSeek 风格的稀疏注意力机制,还引入了跨层 KV 共享、NoPE 层及内置投机解码等创新特性,并推动了 vLLM 在上下文并行与显存卸载方面的通用优化。

vLLM 官方博客T1·开发与工程
78 分
vLLM 引入解码上下文并行:突破 MLA/GQA 长文本推理显存瓶颈,支持百万级 Token 智能体负载

vLLM 推出解码上下文并行(DCP)技术,专门解决长上下文推理中 KV Cache 在张量并行下因 GQA/MLA 架构导致的显存复制与容量瓶颈。该方案通过优化解码阶段的上下文分布,显著提升了 NVIDIA B200 GPU 上 Kimi K2.6 等模型处理 64K 至 1M Token 智能体工作负载的并发能力与内存效率。