AI 自主设计出全新指令集 CPU 能效提升 4.59 倍

原标题:Frostbite: A new CPU architecture discovered, designed and verified by AI
88AI 研判分

Architect Labs 发布 Frostbite,一款由 AI 系统从零设计、实现并验证的通用 CPU 及其全新指令集。该架构基于交互网(interaction nets)的局部性与显式依赖特性,在 25 个含 15 个最终才揭晓的留出工作负载上,相较现代已流片的超标量 CPU 实现 4.59 倍每瓦性能提升。团队计划开源 Frostbite 的 RTL 与 ISA,标志着 AI 从实现既有架构迈向软硬件协同设计的新阶段。

报道正文

本文目录12 个章节

摘要

在我们之前的文章Redwood中,我们展示了在给定架构的情况下,我们的 AI 系统能够在创纪录的时间内实现、验证并部署一款推理加速器。然而,与其他科学领域类似,我们相信,只要给予正确的自由度和护栏,AI 系统就能够软硬件协同设计,在整个技术栈上进行优化,并开辟出一个此前无法触及的庞大设计空间。我们着手回答这样一个问题:“我们的 AI 系统和工具能否带来一种全新的硬件发现,从而大幅超越人类设计的方案?”

今天,我们推出 Frostbite,这是一款从零开始构建、采用全新指令集的通用 CPU。Frostbite 利用了交互网络(interaction nets)的特性,即每一步都是局部的、每个依赖都是显式的、每个值都恰好只有一个所有者,从而在长期停滞的 CPU 性能上实现了阶跃式提升。在一组最初选定的 25 个工作负载上(其中 15 个直到最终评估时才揭晓),与一款现代、经过流片验证的超标量(双发射、顺序执行)CPU 核心相比,我们实现了 4.59 倍的每瓦性能倍数。

我们的 AI 系统自主迭代了编译器、ISA、架构、微架构、RTL、验证以及最终的 GDS。当我们进一步审视所发现的架构原语时,我们惊讶地发现了新颖的硬件实现和运行时特性,而这些在通常情况下是很难设计出来的。尽管 CPU 核心改进长期停滞,我们仍然能够将一个工作负载概念一路推进到最终的 GDS,并证明在每瓦性能和每面积性能上实现了阶跃式提升。我们相信,随着 AI 系统能力的不断增强,我们今天所知的每一类芯片——从数据中心级 CPU,到 AI 加速器,再到网络交换机和网卡——都将经历类似的基础性架构变革。

交互网络简介

主流编程语言在针对通用 CPU 编译时,会隐藏程序各部分之间的依赖关系。任何一段代码都可能通过共享的可变状态读取或写入任意变量,因此现代 CPU 硬件只能假设最坏情况,并在运行时重新找出哪些指令实际上相互依赖。此外,自 2000 年代初以来,单核 CPU 性能基本停滞,这促使人们转向大型多核 CPU,例如 Intel Xeon、AMD Zen 和 NVIDIA Vera。这迫使 CPU 维持一种假象:每个核心看到的是同一份内存;而要让这种假象保持一致且高效,就需要深层缓存层级和一致性协议,它们会消耗芯片面积和功耗,并且扩展性很差。

交互网1采用了不同的方法。程序是由节点构成的图,计算通过重写通过端口相连的节点对来发生。每次重写只触及图中一个很小的局部区域。由于每个节点恰好有一个主端口,这些活动节点对中任意两对都不会重叠,因此它们可以按任意顺序重写,也可以同时全部重写,而结果始终相同。交互网也是线性的:每个值恰好被使用一次,因此不存在需要硬件去防护的共享可变状态。像 Vine2 这样的语言会将看起来普通的程序直接编译为交互网。关于交互网及其为何适合硬件的出色入门介绍,我们强烈推荐 Tendrils 的《On Interaction Nets》。3

图 1. 五皇后问题的两种方式。左侧,一个 C++ 程序一步一步地遍历搜索树。右侧,同样的搜索作为交互网会同时探索许多分支:3,183 次交互,关键路径只有 262 步。

图 1 展示了一个小型搜索问题上的差异:在 5×5 棋盘上放置五个皇后。顺序程序一次访问一个候选解。交互网则暴露了其所有独立工作:平均而言,每一步大约有十二次交互已准备好运行。程序本身没有为了获得这种并行性而重写;依赖关系只是从未被丢弃。

理论上,这应该有两个很大的优势。第一个是免费的多线程:并行性直接来自程序本身,而不是依赖不同层次的粗粒度和细粒度并行。没有线程、锁或竞态条件,也没有传统核心用来重新挖掘并行性的乱序机制。第二个是,由于每个值只有一个所有者,且每一步都是局部的,数据可以存放在使用位置附近的小型本地存储器中。这消除了传统芯片在大型缓存子系统上花费的大量面积和功耗,也消除了保持这些缓存一致性所带来的大量系统级复杂性。

过程

Frostbite 的设计没有任何架构先验。我们遵循了下面的过程,一路上借助了多个智能体集群。

图片 1:Frostbite 项目的时间线,展示了关键事件、从架构探索到对齐和迭代的各阶段,以及每个阶段创建的智能体工作树。

图 2. 从首次提案到消融实验的 Frostbite 项目:关键事件、工作阶段,以及智能体创建的工作树,每个分支用其所在阶段的颜色绘制。

架构探索与选择

为了开始架构探索,我们必须确定 Frostbite 应该极其擅长处理的工作负载集合。我们决定考察程序暴露其工作的不同方式:许多独立片段同时进行、多轮并行工作、长顺序链、数据相关分支以及递归。在每个类别下,我们创建了一个搜索集和一个留出评估集,用于评估最终的 Frostbite,确保设计能够泛化到从未针对其调优过的程序。FFT、基数排序和 LU 的内核遵循 SPLASH-2 基准测试中的实现,但规模缩小了 64 倍,因为在常规规模下它们不适合探索性工作。

后来,我们向留出集添加了五个更实际的工作负载:卡尔曼滤波器、PCA、有限元分析、LU 求解和 LZ4 解压缩。

Image 2: 五组共 25 个工作负载的表格,每组分为搜索集和评估集。并行类:搜索集中包含 gemm、chacha20 和 spmv;评估集中包含 conv2d、radixsort 和 pca。分阶段类:搜索集中包含 fft 和 binomial;评估集中包含 lcs、bfs、emeans、lu solve 和 fea。顺序类:搜索集中包含 biquad 和 sha256;评估集中包含 huffman 和 kalman。分支类:搜索集中包含 json;评估集中包含 randomforest 和 lz4。递归类:搜索集中包含 mergesort 和 nqueens;评估集中包含 quicksort、kdtree 和 fib。

图 3. 全部 25 个工作负载,按每个程序暴露其工作方式分组,并划分为智能体用于调优的搜索集和留出的评估集,同时标注了各自的运行规模。

智能体综合了研究论文和现有基准测试,并构建 Python 模型来权衡高层架构思路,随后收窄到单一架构概念。这一探索的输出是一份 141 页的 PDF,涵盖所提出的编程模型、运行时以及芯片的高层模块。这远非最终架构,而是一个起点,其中描述了所有先前发现、高层需求、约束、实验和运行时特性。一旦首个架构迭代完成(首次 RTL 生成),该文档即被删除,因为其中许多数字和估计与物理上可行的结果相去甚远。

形式化契约与系统建模

一旦选定架构候选方案,我们的系统便转向构建芯片的完整软件模型。在探索架构空间时,构建软件模型至关重要,因为它们允许在工作负载、ISA 和硬件的抽象视图之间快速迭代。无论我们构建的是 CPU、GPU、NPU 还是网络交换机,掌握这一迭代循环都能在有限时间内最快地探索设计空间。为了反复进行这一过程,我们设计了一种新的内部规范语言 ASL,并用它编写了 Frostbite 的系统模型“Arcmodel”。ASL 支持 RTL、系统模型、UVM、SVA 等之间的机器可检查转换与细化,且全部针对一个形式化支撑的规范。其功耗和性能估计精度在 1–5% 以内,运行速度比 RTL 仿真快约 200 倍,并且可通过“契约”进行形式化验证。

迄今为止,在每一个硅芯片项目中,人类架构师都会先撰写大量英文 PDF 文档,然后再交给实现团队和验证团队。然而,自然语言无法精确且无歧义地捕捉实现所需的每一个细节,也无法保证在 ASIC 设计与验证过程中捕捉到每一个智能体的幻觉。自然语言从来就不是为此而生的,而在由 AI 编写规范的世界里,我们选择一种形式化的、机器可检查的规范语言。

ASL 既能形式化地描述高层的、类协议行为,例如乱序处理、CSR 编程、内存排序和一致性,也能描述底层细节,例如流水线、仲裁机制和计算传递函数。这让模型可以在有用之处让规范保持开放,而在需要精确行为之处对其进行严格约束。ASL 还能原生翻译为 Lean,4,我们在检查 AI 在 RTL、UVM、C、SVA 等各类输出时,用它来完成所有定理证明。我们将在未来的文章中更详细地讨论 ASL。

在 Frostbite 的整个开发过程中,我们的 AI 将 Frostbite ISA、Arcmodel、设计和验证紧密地协同迭代,并始终以 ASL 契约作为唯一事实来源。我们发现,拥有一个单一且可证明的事实来源,可以在部署大规模智能体集群时避免一大类 bug、低级错误和奖励黑客行为。最终,这种共同语言让模型能够灵活地跨栈工作,将变更从工作负载一路传播并反映到最终硬件。最终,我们的 Frostbite ASL 被降低为 80 万行以上的 Lean 代码。

Image 3: A web of 31 clusters, one per block of the chip, each made of the signals, events, state and clauses its Lean contract names, linked by blue curves where blocks share signals; below, the frame manager's contract drawn out, with its signals on the left feeding events, state and 49 clauses on the right.

图 4. 全部 31 个模块的 Lean 契约。每个模块都是其契约所命名内容的一个簇,由谁读取谁连接起来,并以蓝色表示模块之间共享的信号。下方,我们放大了帧管理器(FRM)模块。

RTL 与对齐

由于 ASL 是有正式规范支撑的规格说明,因此设计和验证由其派生出的 RTL 是整个 Frostbite 流程中最快的环节。然而,Arcmodel 并不具备物理层面的感知能力,因此它最初的功耗和性能估算会与经过时序收敛、综合干净的 RTL 的真实数值存在偏差,最坏情况下偏差接近 250%。

在继续 ASL 自动研究之前,我们的一个系统会依据 RTL 对 Arcmodel 进行重新校准。这是一个完全自主的流水线。它首先识别 RTL 中的功耗热点,并将其追溯到形式化规格中的关键计数器,例如 SRAM 读写、操作计数、发送和接收的 flit、信用返还以及帧缺失。随后,该模型可以针对这些计数器编写任意标量 Python 函数来预测功耗,并重复这一过程,直到 RTL 与 Arcmodel 的误差收敛到 5% 以内。

我们发现这种非梯度学习方式极其强大。一旦完成了这第一次物理对齐,后续迭代就会快得多。当然,这些仍然只是流片前的功耗数值,而经过多轮流片循环后,ASL 模型可以与真实的流片后量产功耗数值建立关联。

Image 4: 模型能耗与 RTL 能耗预测误差随时间变化的图表,显示 Python 模型误差在 40–130%,而 Arcmodel 在首次功耗拟合后从 250% 的最坏情况误差降至搜索后低于 6% 的最坏情况误差和约 1.5% 的中位数误差。

图 5. 整个程序运行过程中建模能耗与 RTL 能耗之间的误差。Python 模型始终与 RTL 相差甚远;在首次功耗拟合之后,Arcmodel 被重新对齐并持续搜索,直到其误差落入 1–5% 的区间。

通过将 Arcmodel 与 RTL 如此紧密地对齐,后续的群体得以更快地进行探索和利用。完整的 Arcmodel 芯片仿真比 RTL 快得多(快 660 倍),这带来了许多跨栈优化。例如,我们的 AI 系统发现了非常细粒度的时钟门控技巧,并在数小时内相应调整了软件运行时以适配这些技巧。这种跨栈优化在传统 ASIC 流程中几乎不可能实现。

契约、Arcmodel、RTL 与功耗的协同迭代

一旦 Arcmodel 与 RTL 达成一致,原始的 Python 模型和架构 PDF 就被删除,ASL 契约成为芯片唯一的规范。从那时起,契约、Arcmodel、RTL 和功耗便齐头并进。成群的智能体在并行的 worktree 中提出架构修订;每一项变更都要对照契约进行检查、在 Arcmodel 中建模、在 RTL 中实现,并测量功耗,然后决定保留还是放弃。在四轮搜索和最后一轮消融实验中,智能体集群尝试了 58 个想法,保留了其中 37 个,从运行中 tile 上的时钟门控,到更小的 L3 表,再到一个共享的 expander。

图 6. 从首次发布到项目结束的全过程图示:每轮搜索的想法、它们所变成的 worktree,以及在其上工作的智能体,每个想法都被保留或放弃。

架构新颖性

完整详述这一架构值得单独写一篇文章。因此,我们选择在此聚焦于我们认为具有新颖性或创造性的特性,并突出我们的系统推动硬件设计前沿的能力。

Frostbite 的程序用 Vine2 编写,Vine 是一门语法类似 Rust 的完整编程语言。Vine 程序被编译为 Ivy,这是一种编码交互网结构的中间表示(IR)。优化器还会尽可能多地应用图归约规则,因此最终所谓的 Ivy 网 具有(基本)固定的形状,由三种原语构成:数据、计算节点和控制节点。然而,这个网的运行时仍然_非常_动态,因为与典型的计算图(其并行性编码在结构中并随时间流水化)不同,这里的并行性必须在运行时从_状态_中推导出来,并在_空间上_流水化。最初的朴素实现很慢,因此我们的智能体不得不发挥创造力。

生成的 ISA 源自这组约束。其中很多是意料之中的:宽 bundle、硬件循环计数器和流。我们发现动态特性更有意思,特别是从网中其他将并行运行的部分取值、窥视和复制值的操作。于是各个 tile 活跃起来,跨越空间进行通信。

图 7. Frostbite 上的代码到硬件映射。第一次调用会填充芯片,随后它发起的调用会跟随其后,以递归方式复用相同的节点,直到每个 tile 同时运行。递归在空间上展开。

涌现特性:窃取工作

由于并行性在空间上展开,因此没有中央调度器。相反,我们看到智能体设计了这些优雅的规则来传播工作。一个 tile 遵循三条规则:它首先运行自己的工作,即其输入端口中的工作。如果这些为空,它就从有富余工作的相邻 tile 取工作。如果找不到这样的 tile,它就可以直接进入非活动状态并节省功耗。

智能体在实现这一点时展现出了非凡的精细程度。下面,我们给出了单个 Frostbite tile 的硬件:

Image 5: 一个 Frostbite tile 的框图:前端、引擎、内存和系统模块,其中运行时(帧管理器、调度器、工作队列、出口)和网络接口被突出显示,而路由器、静态开关、四路分配器和配置总线位于该 tile 之外。

图 8. 一个 Frostbite tile。边界框展示了如何理解各模块的域。

其中很多应该都很熟悉。我们感兴趣的是负责上述工作窃取行为的 RUNTIME 域。

编译器将代码拆分为短段,这些短段一旦输入就绪就会不间断运行。它们在引擎中运行,并且大多通过前端按照传统计算的方式组织。每当循环或分支分裂为大小事先未知的并行片段时,正在运行的部分就会将后续内容作为一条小记录停放在本地内存中,即帧管理器。然后,它把新任务放入一个名为工作队列的硬件队列,并自己取走最新的任务。空闲的邻居随后可以通过网络拉取剩余任务。随着任务在芯片上任意位置以任意顺序完成,它们的返回数据包会递减停放记录的计数器,并在最后一片到达的瞬间自动唤醒下一段。

这就是它在硬件中的样子:

图 9. tile 如何共享工作负载。

我们可以把每个“任务”看作当前棋盘向下展开一层、多放一个皇后的状态。Tile 0 必须为所有可能的皇后配置排队三个任务,才能完成当前棋盘状态。由于它是空闲的,它取走最新的任务(来自自身)并运行它。与此同时,它的邻居们已经拿到了其他任务,只有 Tile 5 例外,它重新进入休眠。

这种行为从未由任何人类指定。我们可以直接将其追溯到特定回归测试和爬山性能指标上的必要性。

结果

我们在 7 nm 工艺上综合了 Frostbite,综合时达到 800 MHz 时序,最终 GDS 中达到 500 MHz。每个 Frostbite quad(2×2 的 tile 网格)搭配四个 L3 节点,面积为 0.792 mm²。我们将一个 Quad+L3 集群与现代超标量(双发射、顺序执行)CPU 的单核进行基准对比,后者我们称为 TCPU(“传统 CPU”)。在相同工艺下,该 TCPU 的面积为 0.895 mm²。†

Image 6: Frostbite 芯片布局,4×4 的相同 tile 阵列,粉色为内存宏。左上角 2×2 的 tile 被框出并标注为 Frostbite quad,左侧边缘的一个块被框出并标注为 L3 节点。

图 10. Frostbite 布局,4×4 tile,7 nm 工艺,其中一个 Frostbite quad(2×2 tile)和一个 L3 节点被框出。

我们在广泛的工作负载上进行了基准测试,从 gemm 和 conv2d 等密集并行内核,到 JSON 解析、Huffman 编码、k-d 树和递归 Fibonacci 等不规则、分支型程序。一组搜索集工作负载驱动了所有架构优化、ISA 设计、RTL 和验证,并且芯片在 10 个搜索集工作负载和 15 个留出工作负载上进行了评估,包括后来添加的五个实际工作负载(图 3)。

为了公平比较,我们选择首先通过将一个 Frostbite quad 与 TCPU 进行基准对比来测量“单核”性能,因为它们的面积相近。在所有工作负载上,我们平均获得 8.77 倍的每面积性能,而在全部 25 个工作负载(搜索集和留出集合计)上,Frostbite 达到 TCPU 每瓦性能的几何平均 4.59 倍:在 10 个搜索集工作负载上为 6.02 倍,在从未针对其调优的 15 个留出工作负载上为 3.83 倍。正如预期,该架构在高度可并行化的任务上表现最强,但它在分支型、动态代码上也优于 TCPU。

Image 7: 一张柱状图,展示 Frostbite 四核相对于 TCPU 在 25 个工作负载上的每瓦性能,搜索集为蓝色,留出评估集为浅蓝色,从 conv2d(评估集)的 23.12 倍到 fib(评估集)的 1.15 倍,虚线分别标出几何平均值:评估集为 3.83 倍,全部 25 个工作负载为 4.59 倍,搜索集为 6.02 倍。

图 11. 一个 Frostbite 四核相对于 TCPU 最佳构建在 25 个工作负载上的每瓦性能:其中 10 个属于搜索集,15 个属于留出评估集。虚线分别标出评估集、全部 25 个工作负载以及搜索集的几何平均值。

Image 8: 堆叠柱状图展示能耗占比:TCPU 为 57% 内存、27% 取指、译码与发射、13% 计算;Frostbite 四核为 38% 内存、6% 取指、译码与发射、16% 计算、26% 片上网络与调度器、14% 其他;四乘四 Frostbite 为 40% 内存、7% 取指、译码与发射、18% 计算、23% 片上网络与调度器、11% 其他。

图 12. TCPU、一个 Frostbite 四核以及完整的四乘四 Frostbite 各芯片按功能划分的能耗占比(不含时钟分配)。为 20 个工作负载的平均值。

能耗分解揭示了节能的来源。除去时钟分配(占 TCPU 能耗的 49%,占 Frostbite 四核的 41%),TCPU 将 57% 的能耗用于内存,27% 用于取指、译码和发射指令。Frostbite 将内存降至 38%,取指、译码和发射降至仅 6%。作为交换,它把 26% 的能耗用于片上网络和调度器,这是在各 tile 之间共享工作和传递消息的代价。然而,更令人兴奋的是,当我们将芯片扩展到四乘四阵列(四个四核)时,功耗分布基本保持不变。在通用多核 CPU 架构中,扩展核心数量需要增加繁重的缓存一致性机制和大容量缓存,而在运行交互网时,相同的数据局部性规则始终适用,更多核心并不会增加系统复杂性。下图展示了这一点。在接下来的几个月里,我们将在 SPEC 和 PARSEC 等更大规模的行业基准测试集上,将 Frostbite 网状配置与配备大容量缓存以及更大、更宽的超标量乱序 CPU 的多核“TCPU”配置进行基准对比。

Image 9: 并排展示的示意图平面图:一个拥有八个核心的 TCPU,每个核心都有自己的 L1 和 L2,围绕着一个大型共享 L3;以及 Frostbite,一个 8×8 的瓦片网格,每个瓦片都有自己的小型内存块。

图 13. 内存所在的位置。多核 TCPU 在其核心之间共享 L1、L2 和 L3 缓存的深层层次结构;Frostbite 则为每个瓦片提供自己的小型内存。示意图,未按比例绘制。

接下来是什么

虽然交互网已经存在了超过 35 年,但其生产价值从未被完全明确。从历史上看,探索分布外架构始终存在风险,因为需要投入时间、资金和人力才能形成确信。我们相信 AI 从根本上改变了这些经济账。在追求更高性能和更低功耗的过程中,对工作负载、ISA 和硬件进行极致协同设计的需求将持续存在。借助大型智能体集群、复杂的搜索空间技术、精确的护栏、形式化验证以及更快的 EDA 工具,AI 系统将能够以超越人类认知的质量发现并构建新型加速器。尽管还有很多工作要做,但我们觉得现在是时候向世界展示自主芯片设计的未来可能是什么样子了。我们计划继续扩大 Frostbite 的开发规模,包括但不限于:

  • 提供一个软件游乐场,让任何人都能在托管于 FPGA 上的 Frostbite 上运行程序。
  • 构建一个初步的操作系统,能够管理硬件资源、多程序、虚拟化等。
  • 扩大集群规模,将 Frostbite 提升到更高的每瓦性能,并在更大规模的工作负载集上针对更广泛的 CPU 进行基准测试。
  • 发布 Frostbite 的 RTL 和 ISA。

我们乐在其中!

注释

†出于法律原因,我们无法披露具体的 CPU。