Hacker News AIT2·开源与评测
72 分
开发者发布开源项目,用约 190 行纯 JAX 代码从零实现 DeepSeek V3 核心架构,包含多头潜在注意力(MLA)、解耦 RoPE、DeepSeekMoE 与无辅助损失负载均衡等关键设计,并在 MacBook Air 上完成预训练。项目不依赖 Flax、Equinox 或 PyTorch,参数以纯字典数组表示,代码可逐行阅读,是理解前沿 MoE 架构的高价值教学与实验范本。
MLA
将键值压缩为低维潜在向量以大幅降低 KV 缓存开销的注意力机制
开发者发布开源项目,用约 190 行纯 JAX 代码从零实现 DeepSeek V3 核心架构,包含多头潜在注意力(MLA)、解耦 RoPE、DeepSeekMoE 与无辅助损失负载均衡等关键设计,并在 MacBook Air 上完成预训练。项目不依赖 Flax、Equinox 或 PyTorch,参数以纯字典数组表示,代码可逐行阅读,是理解前沿 MoE 架构的高价值教学与实验范本。
vLLM 宣布对 Mistral Large 4 的 Day-0 原生支持,该模型采用混合专家(MoE)与原生多模态架构。此次集成不仅适配了 DeepSeek 风格的稀疏注意力机制,还引入了跨层 KV 共享、NoPE 层及内置投机解码等创新特性,并推动了 vLLM 在上下文并行与显存卸载方面的通用优化。
vLLM 推出解码上下文并行(DCP)技术,专门解决长上下文推理中 KV Cache 在张量并行下因 GQA/MLA 架构导致的显存复制与容量瓶颈。该方案通过优化解码阶段的上下文分布,显著提升了 NVIDIA B200 GPU 上 Kimi K2.6 等模型处理 64K 至 1M Token 智能体工作负载的并发能力与内存效率。