IT之家 · 智能时代T2·算力与基建
68 分
英伟达通过上游 vLLM 优化,使 2.8 万亿参数的 Kimi K3 模型在 GB300 NVL72 硬件上的推理速度达到 423 tok/s/user,性能提升 1.68 倍。该优化由 CentML 工程师完成,核心在于使用 Cute DSL 编写包含 1.2 万行代码的大规模 Megakernel 融合解码专用内核,展示了 AI 辅助生成高级计算内核的工程潜力。
Operator Fusion
将多个连续的计算操作合并为一个内核以减少内存访问和启动开销
英伟达通过上游 vLLM 优化,使 2.8 万亿参数的 Kimi K3 模型在 GB300 NVL72 硬件上的推理速度达到 423 tok/s/user,性能提升 1.68 倍。该优化由 CentML 工程师完成,核心在于使用 Cute DSL 编写包含 1.2 万行代码的大规模 Megakernel 融合解码专用内核,展示了 AI 辅助生成高级计算内核的工程潜力。
Moonshot AI 在 vLLM 中采用智能体辅助开发技术,为 Kimi K3 模型构建了统一的 CuTe DSL 解码路径。该方案在 NVIDIA GB300 集群上实现了单批次超 840 tokens/s 的解码速度,并在特定配置下将吞吐量提升了 1.5 至 2 倍。此举标志着利用 AI 编写底层 GPU 内核以加速大模型推理的工程实践进入新阶段。
Hugging Face 发布 PyTorch 性能剖析系列第二篇,演示如何利用 profiler 追踪数据将标准 nn.Linear 层优化为融合 MLP。文章通过具体案例展示如何识别计算瓶颈并实施算子融合以提升推理效率。
Qwen 团队正式开源基于 TileLang 的高性能线性注意力算子库 FlashQLA,专为 Gated Delta Network (GDN) 优化。该库通过 Gate 驱动的卡内序列并行与硬件友好的代数改写,在 NVIDIA Hopper 架构上实现前向计算 2-3 倍、反向计算 2 倍的加速,显著降低长上下文训练与推理开销。