Kimi K3 在 AMD MI355X 上实现单卡吞吐对标 NVIDIA B300:AgentX 推理优化揭秘

作者:AMD and Embedded LLM原标题:Scaling Kimi K3 on AMD Instinct MI355X: Matching NVIDIA HGX B300 Throughput per GPU on AgentX
42AI 研判分

月之暗面(Moonshot AI)公布 Kimi K3 模型在 AMD Instinct MI355X 加速器上的部署成果,通过 AgentX 框架优化实现了与 NVIDIA HGX B300 相当的单 GPU 吞吐量。该案例重点揭示了针对大模型推理瓶颈的底层优化策略及决策过程,验证了非英伟达硬件在高性能计算场景下的竞争力。

报道正文

Inside the Kimi K3 optimization effort: understanding the bottlenecks and the decisions that made inference faster