术语slug: operator-fusion

算子融合

Operator Fusion

将多个连续的计算操作合并为一个内核以减少内存访问和启动开销

收录情报动态

共 4 篇 · 第 1/1 页
IT之家 · 智能时代T2·算力与基建
68 分
英伟达优化 Kimi K3 推理内核,速度提升 1.68 倍

英伟达通过上游 vLLM 优化,使 2.8 万亿参数的 Kimi K3 模型在 GB300 NVL72 硬件上的推理速度达到 423 tok/s/user,性能提升 1.68 倍。该优化由 CentML 工程师完成,核心在于使用 Cute DSL 编写包含 1.2 万行代码的大规模 Megakernel 融合解码专用内核,展示了 AI 辅助生成高级计算内核的工程潜力。

vLLM 官方博客T1·算力与基建
68 分
vLLM 引入智能体辅助优化 Kimi K3,解码吞吐提升近两倍

Moonshot AI 在 vLLM 中采用智能体辅助开发技术,为 Kimi K3 模型构建了统一的 CuTe DSL 解码路径。该方案在 NVIDIA GB300 集群上实现了单批次超 840 tokens/s 的解码速度,并在特定配置下将吞吐量提升了 1.5 至 2 倍。此举标志着利用 AI 编写底层 GPU 内核以加速大模型推理的工程实践进入新阶段。

Qwen 官方博客 (通义)T1·算力与基建
78 分
Qwen 开源 FlashQLA:GDN 线性注意力加速 2-3 倍

Qwen 团队正式开源基于 TileLang 的高性能线性注意力算子库 FlashQLA,专为 Gated Delta Network (GDN) 优化。该库通过 Gate 驱动的卡内序列并行与硬件友好的代数改写,在 NVIDIA Hopper 架构上实现前向计算 2-3 倍、反向计算 2 倍的加速,显著降低长上下文训练与推理开销。