Today for AI
返回热点榜
compute热度 11.6°

AI 聚合热点事件 · 2026/10/18

英伟达优化 Kimi K3 推理内核，速度提升 1.68 倍

1 篇收录报道1 家独立信源交叉印证持续跟踪至 2026/10/18 21:25:18
全景综述与最新动态
1 家信源交叉印证

英伟达通过上游 vLLM 优化，使 2.8 万亿参数的 Kimi K3 模型在 GB300 NVL72 硬件上的推理速度达到 423 tok/s/user，性能提升 1.68 倍。该优化由 CentML 工程师完成，核心在于使用 Cute DSL 编写包含 1.2 万行代码的大规模 Megakernel 融合解码专用内核，展示了 AI 辅助生成高级计算内核的工程潜力。

最新动向/英伟达通过上游 vLLM 优化，使 2.8 万亿参数的 Kimi K3 模型在 GB300 NVL72 硬件上的推理速度达到 423 tok/s/user，性能提升 1.68 倍。该优化由 CentML 工程师完成，核心在于使用 Cute DSL 编写包含 1.2 万行代码的大规模 Megakernel 融合解码专用内核，展示了 AI 辅助生成高级计算内核的工程潜力。

热度曲线逐小时热度走势

2 个完整观测小时
连续完整观测不足 3 个小时，暂不绘制趋势曲线。

TIMELINE报道时间线

共 1 篇 · 最新优先
  1. IT之家 · 智能时代T2·68 分

    英伟达优化 Kimi K3 推理内核，速度提升 1.68 倍

    原标题：英伟达优化 Kimi K3 模型推理速度，提升 1.68 倍

    • Kimi K3 (2.8T 参数) 在 GB300 NVL72 上实现 423 tok/s/user 的推理速度，较基线提升 1.68 倍。
    • 优化核心是名为 Megakernel 的解码专用内核，包含 1.2 万行代码，使用 NVIDIA 新推出的 Cute DSL 编写。
    • 该案例标志着 AI 辅助生成高级计算内核成为解决大模型推理效率瓶颈的重要方向。