返回全部资讯
Berkeley AI Research (BAIR)T1·开发与工程

K-Search 实现 CUDA 到 MLX 内核自动迁移

原标题:From CUDA to MLX: How K-Search Brings Decades of Kernel Expertise to Apple Silicon
68AI 研判分

伯克利团队推出 K-Search,利用 AI 代理将 CUDA 生态积累的数十年内核优化经验自动迁移至 Apple Silicon 的 MLX 框架。该工具通过架构感知的策略转换而非指令级复制,显著降低了跨硬件平台开发高效 GPU 内核(如 Flash Attention、Mamba)的技术门槛与时间成本。

报道正文

本文目录10 个章节

Kernel knowledge transfer from CUDA to MLX

图 1:CUDA 到 MLX 的优化转换映射。 CUDA 优化知识可以转换为架构原生的 MLX 策略,而不是逐指令复制。

我们正面临计算领域的一个新纪元。硬件正在快速变化——不仅仅是更快的 GPU,还有来自不同厂商的日益增多的芯片,每种芯片都有其独特的架构,并且通常针对特定的 AI 工作负载进行了定制。软件也在同样快速地变化,AI 编码工具现在能在几分钟内生成几年前需要数月努力才能完成的内容。

随着计算重心如今大量转向 AI,GPU kernel 成为其成功的关键组成部分。这些是在 GPU 内部运行的底层程序,编写高效的 kernel 绝非易事——需要多年的专业知识才能做到完美。将一个 kernel 从一家厂商的硬件移植到另一家厂商的硬件上则更加困难,往往意味着从零开始重新发现相同的优化方案。例如,CUDA 生态系统已经积累了数十年来来之不易的 kernel 专业知识:包括注意力机制、状态空间模型及其他关键操作的手动调优实现,代表了数千小时的工程投入。较新的硬件生态系统(如 Apple Silicon、定制 AI 加速器及其他)正在快速增长,但缺乏这种深度积累。

在本工作中,我们探讨这种专业知识是否可以自动转移。我们基于 K-Search 构建了一个进化式 kernel 搜索框架,该框架由 Berkeley Sky Lab 的 Cao 等人提出,利用 AI 来优化 GPU kernel,并为其扩展了 MLX 后端——MLX 是 Apple 为其自家 Apple Silicon 芯片推出的机器学习框架。我们开发了一种新颖的结构化 CUDA 到 MLX 转换层,使 K-Search 能够将现有的 CUDA kernel 作为知识库,并将其适配为适用于 Apple Silicon 的高质量 GPU kernel,而非从头重建。

我们展示了该方法在 Apple Silicon 上达到了接近专家水平的性能:与原生 MLX Attention kernel 相比,实现了 0.97x 的加速比;而在 Mamba SSM kernel 上,相较于社区版 mlx-lm 实现,预填充(prefill)速度最高提升了 20 倍。我们在下文中报告了具体数据,以及多少增益来自于转换层。尽管我们聚焦于 Apple Silicon 上的 MLX kernel,但该方法并不局限于 MLX,可应用于任何 CUDA 专业知识可迁移的生态系统。

为什么选择 MLX?

Apple 的 MLX 框架自 2023 年底以来获得了显著普及。凭借数亿台搭载 Apple Silicon 芯片的 MacBook 和 Mac Studio,MLX 实现了无需云端成本的本地 AI 推理。其统一内存架构使其对中型模型(在 M 系列芯片上运行的 7B–70B 参数模型)尤其具有吸引力。

然而,在这股势头之下存在一个显著缺口:NVIDIA 生态系统中习以为常的许多性能关键型内核——如分页注意力(paged attention)、优化的 SSM 扫描内核、融合 MoE 路由——要么缺失,要么缺乏针对硬件特性的调优而显得过于简陋。MLX 能够正确运行模型,但往往未能充分发挥性能潜力。

正是这一缺口促使了本文后续内容的展开。

K-Search 是一个演化式内核优化框架,最初由我们的第一作者 Shiyi Cao 在加州大学伯克利分校 Sky Lab 开发。给定一个朴素内核和硬件规格说明,它执行迭代优化循环:LLM 推理下一步应尝试哪些优化,代码生成模型产出候选内核,随后这些候选内核在真实硬件上进行编译和基准测试。

测量结果反馈至搜索过程,推动其持续改进,保留有前景的方向并剔除死胡同,直至性能收敛。

Pseudocode for K-Search via co-evolving world models

算法 1:通过协同演化世界模型实现的 K-Search。 搜索过程交替进行以下操作:选择最有前景的动作,实例化并评估代码直到改进停滞,以及通过插入、更新和剪枝操作演化世界模型。改编自 Cao et al. (2026)。

搜索过程以 Spec 为基础:这是一份领域特定文档,编码了硬件规则、优化模式和数学约束,防止生成的代码幻觉出无效的原语,并确保候选代码能够实际编译并高效运行。

在我们的运行中,单个模型(Gemini 3.5 Pro Preview)同时承担两种角色:维护推理状态并编写内核。在推理部分,该模型被提示扮演“GPU 内核性能工程师”,并被要求在提出任何建议之前先完成固定的分析流程:对内核进行分类(归约、扫描、注意力/softmax 等),将参考计算重写为规范形式,梳理数据布局与访问模式,并针对每种运行时场景假设可能的瓶颈(带宽、延迟、计算或同步)。只有在此之后,它才会输出候选优化方案,且每个方案都必须是可在单次迭代中实现的单一变更。

我们将这种持久化的推理状态称为世界模型。它并非待尝试事项的扁平列表,而是一棵决策(前缀)树:每条从根到叶的路径构成一个完整的优化计划,同级分支则是相互竞争的替代方案。每个节点都会进行评分——包括 [0, 10] 范围内的 overall_rating、[0, 1] 范围内的 confidence,以及对内存带宽、寄存器压力和计算/硬件适配度的逐项 impacts 影响评估——从而使搜索过程能够对部分计划进行排序,并优先扩展最有前景的节点。这棵树在多轮迭代中持续存在并生长:细化某个想法会添加子节点而非覆盖父节点;如果最佳分数在几轮内未能提升(即进入停滞窗口),搜索便会回退以探索其他分支。以下是在注意力内核运行中途出现的单个节点示例:

JSON
{
  "action": "Replace the threadgroup-memory softmax reduction
             with a register-only reduction: each SIMD group
             owns 8 query rows and reduces across lanes with
             simd_shuffle_xor, removing a threadgroup_barrier.",
  "difficulty_1_to_5": 4,
  "impacts": {
    "memory_bandwidth":  8,
    "register_pressure": 4,   // risk: spill if Br > 8
    "compute_hw_fit":    9    // SIMD width 32; keep tile 8x8
  },
  "overall_rating_0_to_10": 8,
  "confidence_0_to_1": 0.7
}

清单 1:K-Search 世界模型节点示例。 每个候选优化方案都记录了具体操作、预估的硬件影响、整体优先级评分以及模型的置信度。

Overview of the K-Search loop

图 2:K-Search 概览。 该框架基于结构化为搜索树的 搜索状态(Search State) StS_t 运行。树由 Closed 节点(蓝色,已访问状态并附带程序如 x12x_{12})和 Open 节点组成的 Frontier(前沿,待处理假设如 u13u_{13})构成。工作流程迭代经历三个阶段:(1) 动作选择(Action Selection),根据世界模型估计的优先级分数 VV,从 frontier 中检索最有前景的动作节点;(2) 局部优化(Local Refinement),随机策略 πcode\pi_{\mathrm{code}} 采样具体实现直至停滞;以及 (3) 世界模型更新(World Model Update),LLM 对轨迹进行推理以通过 Insert(添加新动作)、Update(调整 VV,例如 u11u_{11} 从 0.9 降至 0.6)和 Prune(移除前景较差的节点如 u10u_{10})来更新搜索树。

原始的 K-Search 论文在来自 FlashInfer 的 CUDA kernels 上评估了这种搜索策略。在相同的 120 次迭代预算下,相较于 OpenEvolve 和 ShinkaEvolve,K-Search 在 GQA decode、MLA decode、MLA prefill 和 MoE 任务上表现出更一致的性能提升。这些结果确立了我们在本文中构建所依赖的搜索框架;本文其余部分探讨其优化知识能否迁移到 CUDA 之外。

K-Search benchmark results compared with OpenEvolve and ShinkaEvolve

图 3:原始 K-Search 论文的主要结果。 在三次运行中,K-Search 在四个 FlashInfer CUDA kernels 上实现了比 OpenEvolve 和 ShinkaEvolve 更强的最佳当前搜索分数(best-so-far search scores)、各工作负载 kernel 性能以及加速分布。完全复现自 Cao et al. (2026)。

构建 MLX 后端

为了将 K-Search 引入 Apple Silicon,我们首先构建了一个原生的 MLX 后端。我们为 K-Search 实现了一个完整的特定于 MLX 的任务适配器,包括:

  • k_search/tasks/ 中的 MLX 任务后端,通过 MLX 的 Metal/C++ API 处理 Apple Silicon 上的 kernel 编译和执行。
  • 更新了用于编写和修改 Metal/MLX kernels 的 kernel 生成器 prompts。
  • 使用 mlx.core 测量工具实现的特定于 MLX 的基准测试集成。

将 CUDA 专业知识迁移至 MLX

然而,更具挑战性的并非仅仅是在 MLX 上运行 K-Search。关键洞察在于:专家级 CUDA 内核蕴含了数十年的优化知识,只要能够弥合概念上的差距,这些知识便可迁移至 Apple GPU。简单地将一个 CUDA 内核交给 LLM 并要求其进行移植是远远不够的:在缺乏深入硬件上下文的情况下,LLM 生成的代码虽然语法正确,但在架构层面却是错误的(例如错误的 tile 尺寸、无效的原语以及不匹配的内存假设)。

我们的翻译层包含以下部分:

  • 概念映射表: 一份结构化的术语表,列出了 CUDA 原语及其在 MLX/Metal 中的对应项,并附带硬性约束。例如:
    • __shared__ 映射到 Metal 的 threadgroup 内存,但存在 32 KB 的硬性限制(相比之下 NVIDIA 为 48 KB)
    • warp_reduce 映射到 MMA(首选方案)
    • __syncthreads() 转换为 threadgroup_barrier(mem_flags::mem_tg)
    • H100 约 3.35 TB/s 的 HBM3 带宽映射到 M3 Max 约 400 GB/s 的统一 DRAM——这种带宽差异重塑了哪些优化值得追求。
  • MLX 特定的提示与模式: 针对那些没有直接 CUDA 等价物的操作,提供具体的代码级模式,例如在 8×8 MMA tile 布局中使用 simd_shuffle_xor 进行基于寄存器的行归约,或者使用“exp2 技巧”(将 exp(x)exp(x) 替换为 exp2(xlog⁡2e)exp_2(x \log_2 e))以利用 Apple 快速的 exp2exp_2 硬件指令加速 softmax。
  • 可复用的断言: 将专家级内核的行为重构为进化搜索必须保留的属性,而非需要复制的代码。

匹配专家级内核性能:Attention 内核

我们评估了用于 Apple Silicon 的 MLX attention 内核的三种配置:(1) 朴素基线;(2) 纯进化搜索,不提供额外上下文;(3) 完整上下文翻译层,该层向优化器提供从高性能内核(如 FlashAttention-2)中提取的特定架构实现知识,使进化搜索能够推理实现策略,而不是从朴素内核开始。这三种配置共同作用,使我们能够隔离出翻译层的确切影响。

Performance scaling of the Attention Kernel through stacked optimizations

图 4: Attention Kernel 通过层层优化实现的性能扩展。“Full Context”配置成功发现并实现了双缓冲(double buffering)和循环展开(loop unrolling)等高级策略,达到了接近专家水平的性能。

从 Apple 最先进 attention kernel 速度的 0.26× 跃升至 0.97×——这一差距凸显了翻译层的重要性。在拥有完整上下文的情况下,演化出的 kernel 独立发现了 FlashAttention 2 中的关键优化技术:线程组内存分块(threadgroup memory tiling)、在线 softmax(online softmax)、用于内存访问的 K 矩阵转置(K-transposition),以及 exp2 技巧。最后这项技术将 softmax 中的所有指数运算替换为以 2 为底的指数运算,

[e^x = 2^{x \log_2 e},]

这在数学上是精确的,并且允许 kernel 直接使用 Apple 快速的 fast::exp2() 硬件指令,而无需在运行时承担底数转换的成本。

Prefill 速度提升 20 倍:Mamba SSM kernel

为了评估 K-Search 是否能泛化到 attention kernel 之外,我们将其应用于 Mamba 使用的状态空间模型(SSM)kernel。与 attention 不同,其计算瓶颈是递归状态更新而非 softmax,这带来了截然不同的优化挑战。我们在 M1 Max 上将演化出的实现与社区版 MLX 实现(mlx-lm)以及 PyTorch 参考实现(mamba.py)进行了对比。

基于 mamba-370m f16,M1 Max 64GB 的评估结果:

指标mlx-mamba (ours)mlx-lm (community)mamba.py
Decode152 tok/s116 tok/s40 tok/s
Prefill L=5125,751 tok/s329 tok/s1,089 tok/s
Prefill L=10246,010 tok/s327 tok/s1,127 tok/s
Prefill L=20486,612 tok/s326 tok/s1,092 tok/s
Prefill L=40966,743 tok/s339 tok/s1,042 tok/s

表 1: mamba-370m (f16, M1 Max 64GB) 上的 Prefill 和 Decode 吞吐量。mlx-mamba (ours) 的 prefill 吞吐量比社区版 mlx-lm 基线高出约 20 倍,而 decode 性能则保持相当。

相比 mlx-lm 实现的约 20 倍 prefill 加速主要源于一个差异:mlx-lm 没有为 SSM 实现并行扫描(parallel scan)。状态递推公式

[h_t = \bar{a}t h{t-1} + \bar{b}_t]

看起来本质上是顺序执行的,但每一步都可以写成一对 (aˉt,bˉt)(\bar{a}_t, \bar{b}_t),并在结合律操作下表示为

[(a_2, b_2) \circ (a_1, b_1) = \left(a_2 a_1,\ a_2 b_1 + b_2\right),]

这精确复现了递推关系。由于该算子具有结合律,整个序列可以通过并行(前缀)扫描在 O(log⁡N)O(\log N) 个依赖步骤中完成评估,而非 O(N)O(N)。mlx-lm 跳过了这一步,而是逐个处理 token,导致 Apple Silicon 的大部分算力闲置;我们演化出的 Metal kernel 应用了扫描操作,从而更充分地利用了 GPU 吞吐量。这一优势体现在 prefill 阶段,此时完整序列可供并行扫描,而在单 token decode 阶段则无法体现,因为每步仅有一个新 token,没有可并行的扫描——这也解释了为何 decode 行性能大致持平,而 prefill 性能提升了约 20 倍。

mamba.py 在 prefill 和 decode 阶段都表现缓慢,因为它是一个 PyTorch 参考实现,在 Apple Silicon 上会回退到 CPU 或 MPS,从而放弃了 MLX 的 Metal 后端所能提供的硬件特定优化。

下一步计划?

在我们研究的两个 kernel 中,基于结构化跨平台翻译知识、由 AI 驱动的演化式 kernel 搜索,在没有 GPU 专家团队从零开始的情况下,在 Apple Silicon 上达到了接近专家水平的性能。我们尚不清楚这种方法的泛化能力有多强,但结果令人鼓舞。

对我们而言,主要结论是瓶颈并不在于 LLM 编写 Metal 代码的能力,而在于我们提供给它的上下文质量和约束条件。我们的 CUDA 翻译层将现有的 NVIDIA kernel 专业知识转化为针对 Apple Silicon 的可操作指导,并让 K-Search 的演化搜索完成其余工作。

我们正在积极从多个方向扩展这项工作:支持新的架构,目前重点是为 IBM Spyre AIU 开发新 kernel 以及覆盖更广泛的硬件目标;增加更多 kernel,例如 paged attention 和 fused MoE routing;以及改进与 K-Search 演化循环的集成,使翻译上下文更加自动化。

致谢

这项工作由 IBM Research 完成,并建立在 UC Berkeley Sky Lab 的 K-Search 基础之上 (Cao et al., 2026)。我们欢迎来自 MLX 及更广泛 AI 系统社区的协作与反馈。如果您正在从事非 CUDA 硬件上的 kernel 优化工作,我们非常乐意与您交流。


引用

文本
@article{cao2026k,
  title={K-Search: LLM Kernel Generation via Co-Evolving Intrinsic World Model},
  author={Cao, Shiyi and Mao, Ziming and Gonzalez, Joseph E and Stoica, Ion},
  journal={arXiv preprint arXiv:2602.19128},
  year={2026}
}

附录:亲自尝试

MLX 后端基于开源的 K-Search 仓库构建,因此本文中的结果可以直接复现。步骤如下:

  1. 克隆并安装
BASH
git clone https://github.com/caoshiyi/K-Search.git
cd K-Search

uv pip install openai wandb
uv pip install git+https://github.com/caoshiyi/flashinfer-bench-ksearch.git
  1. 设置凭据

打开 scripts/ 目录下的相关脚本,并在顶部设置以下三个变量:

文本
KSEARCH_ROOT=/path/to/K-Search
API_KEY=your-llm-api-key
  1. 运行内核搜索
文本
# 在 Apple Silicon 上优化 Flash Attention(世界模型模式)
bash scripts/mac_flash_attention_wm.sh

# 或者 Mamba SSM 内核,例如选择性扫描
bash scripts/mamba_selective_scan_fwd_wm.sh

完整的 CLI 参考和文档请见 README。