IT之家 · 智能时代T2·算力与基建
58 分
摩尔线程宣布基于 MTT S5000 智算卡与 MUSA 软件栈,在月之暗面开源 Kimi K3.1 Pro 当天完成 Day-0 适配,打通模型加载、服务启动及文本与图片推理链路。适配重点包括稀疏注意力 DSA 的索引选择与 KV 缓存布局、MXFP4 专家权重的在线 FP8 转换,以及视觉 Attention 接入。这标志着国产 GPU 软件栈对 3 万亿参数级 MoE 模型的跟进速度明显提升。
Low-Precision Quantization
用更少比特表示模型权重与激活值,以降低显存占用和带宽需求,同时尽量保持精度
摩尔线程宣布基于 MTT S5000 智算卡与 MUSA 软件栈,在月之暗面开源 Kimi K3.1 Pro 当天完成 Day-0 适配,打通模型加载、服务启动及文本与图片推理链路。适配重点包括稀疏注意力 DSA 的索引选择与 KV 缓存布局、MXFP4 专家权重的在线 FP8 转换,以及视觉 Attention 接入。这标志着国产 GPU 软件栈对 3 万亿参数级 MoE 模型的跟进速度明显提升。
英伟达发布技术解读,提出以“全栈协同设计”应对 HBM 供应趋紧与内存墙问题,通过 NVFP4 低精度压缩、NVL72 跨 GPU 权重分片、Vera CPU 的 LPDDR 缓冲、Dynamo 上下文迁移与 CMX 存储等组合手段,把不活跃上下文移出 HBM。其援引 SemiAnalysis AgentX 基准称,Vera Rubin NVL72 相较 GB300 NVL72 每美元智能体吞吐量最高提升 30 倍,而每 GPU 的 HBM 容量仅增约 3%,标志算力竞争从“显存容量”转向“每字节、每瓦特有效 token 产出”。