Exa 在 AWS 芯片上优化嵌入吞吐提升 50%
Exa 通过 AWS Neuron SDK 与 NKI 内核优化,在 Inferentia2 与 Trainium2 上实现嵌入吞吐提升 50%,支撑其向量数据库对数百亿文档的索引。文章强调在超大规模下,每文档嵌入成本是核心经济性指标,异构硬件池化与底层内核调优带来长期显著降本。
报道正文
本文目录8 个章节
在 Exa,我们正在构建为数不多的真正网络索引之一,通过聚合并提供来自网络各处的知识,以及私有和合成来源的数据。我们针对语义搜索优化该索引,为智能体和人类提供真实、高质量的数据基础。我们使用多塔语义机器学习(ML)模型,将网络数据和查询数据嵌入到同一向量空间中,因此用户可以用自然语言表达复杂查询,同时结合传统关键词搜索。支撑这一能力的核心技术是自研向量数据库。它必须尽可能多地摄取高质量网络数据,并对全部数据进行嵌入。因此,嵌入的单位经济性构成了我们一切工作的基础。在数百亿乃至数千亿文档的规模下,找到每美元性能最佳的硬件并不是一个调优细节。任何单文档成本的改进都会累积成一个可观的数字。
本文详细介绍了我们如何在 AWS Neuron 硬件(AWS Inferentia2 和 AWS Trainium2)上优化嵌入基础设施,以支持更便宜、更灵活的推理工作负载,以及一个智能体开发工作流如何推动了这一优化。
推理运行在异步流水线上,但它必须高吞吐且快速,以便快速服务最新数据并缩短从发现到服务之间的时间。
图 1:Exa 技术栈的简化视图
我们评定为质量足够高的每一份结构化网络文档都必须先被嵌入,然后才能对外服务。该图展示了原始网络数据如何从爬虫进入由解析、审核与过滤、嵌入组成的异步流水线,最终结果由向量数据库提供。
大规模嵌入文档
我们对 Neuron 硬件系列的体验始于一次回填。迁移到更优的文档模型意味着要重新嵌入现有语料库。我们选择了 300 亿份高优先级文档进行重新嵌入。这样的迁移会暂时使嵌入负载翻倍,而这恰恰是重新评估硬件选择的合适时机。
图 2:回填带来的推理负载翻倍
上图展示了两条并行的流水线,它们共享抓取和解析阶段:一条使用线上模型将文档嵌入到线上索引,另一条使用新模型将优先文档重新嵌入到新索引,这正是负载翻倍的原因。这种翻倍明确促使我们重新考虑硬件和优化方案。
优化历程
AWS Inferentia2 的数据指的是在最小实例类型上的性能,即 Inferentia2 xlarge 实例(inf2.xlarge),该实例配备一个芯片和两个 NeuronCore。我们的工作负载运行在单个 NeuronCore 上,因此我们运行 Kubernetes Pod,将它们打包到更大的实例上,而不让任何核心闲置,从而在嵌入集群中实现容器同质性。相同的进程也运行在 Trainium2 NeuronCore 上,并通过数据并行以相同方式扩展。我们最初的 Inferentia2 实现是该模型直接的数据并行 FP16 表示。从这一基线出发,我们借助 Neuron SDK 和 AWS Trainium 团队的支持,踏上尽可能提高吞吐量(docs/sec)的征程。下图展示了每个里程碑处的吞吐量提升。
图 3:各优化里程碑的吞吐量提升
从朴素的编译出发,一系列逐步推进的优化最终带来了约 1.5 倍的吞吐量提升。首先是权重布局优化,它通过让权重布局与更大模型的调度和布局保持一致,消除了不必要的转置。我们还启用了 autocast,让编译器将矩阵乘法降精度执行,同时保留动态范围。降精度后的输出满足了我们 0.999 余弦相似度的正确性门槛(与参考实现相比,参见 Agentic methodology),因此精度影响处于我们的可接受阈值之内。
NKI 内核
Neuron Kernel Interface(NKI)库为常见模型层和操作提供了优化内核。这些预构建内核在常见特性上能带来立竿见影的收益,我们借助它们快速消除了最直接的效率低下来源。一个可直接替换的注意力内核为我们带来了下一轮性能提升。
内存布局优化:融合 SwiGLU MLP 内核
下一个瓶颈是内存溢出(spill)。来自 Neuron Explorer 的性能剖析持续显示,存在大量来自高带宽内存(HBM)的溢出和重新加载,这使得 Tensor Engine 在整个前向传播过程中无法被充分利用。我们以一个可直接替换的 MLP 内核作为跳板,剖析预构建实现的不足之处,随后编写了一个自定义的权重驻留式融合 SwiGLU MLP 内核,消除了 HBM 停顿。
我们在布局操作、循环和内存操作上使用了更高层的 NKI 语言,仅在特定的张量操作上才下探到更低层的 NKI ISA。将内核的大部分保持在更高层语言中,使工程师更容易理解,也更容易调试。
减少 FLOPS
此时我们遇到了瓶颈。在其他片上核心空闲时测得的单加速器吞吐量,显著高于两个核心同时运行时的吞吐量。这一差距意味着我们的理论数据并行吞吐量本应远高于实际实现的聚合性能,这指向了核心之间的争用。
性能分析与实验表明,我们的工作负载尚未使 Tensor Engine 达到饱和。剩余的性能空间可以通过让计算更精简来争取。最清晰的路径是消除浪费,从而减少产出结果所需的总体 FLOPS。我们围绕模型中的精确形状重写了注意力 kernel,以减少花在 padding 上的 FLOPS。这正是 kernel 定制真正发挥价值的地方。通用 kernel 为处理任意形状而构建,因此无法利用特定架构中的具体形状。我们通过让实现贴合模型 head 架构的真实形状,从注意力中榨取了更多性能。我们还将注意力操作合并为单次 matmul,而通用 kernel 则使用多个指令步骤。这减少了计算相同数值所需的内部循环操作,从而减少了 HBM 往返,并带来了最终显著的加速。
总体而言,与最初的基线相比,我们的最终版本在每嵌入 100 万份文档的性能和成本上提升了 47%。
Agentic 方法论
所有这些都是由 agent 在一个简单的三部分 harness 中开发完成的,该 harness 让 agent 能够验证正确性、测量性能并对工作负载进行性能分析,以找到下一个方向。使用 Flyte 这一 ML ops 工作流平台,每个 agent 运行自己的工作流。该工作流会编译一个 NEFF Neuron 可执行文件,并针对基线数据集检查一次前向传播,其结果必须达到与规范模型 0.999 的余弦相似度。随后,它会对一次前向传播进行性能分析,并在真实硬件上运行 30 分钟的饱和基准测试。
该 harness 支持不同成本的 agent。轻量级模型处理诸如网格搜索编译器参数之类的繁琐工作,而正确性检查可防止漂移。推理型 agent 测试复杂假设并寻找瓶颈,而最强的代码生成器则编写自定义 kernel 来修复这些问题。将每个 agent 与其任务相匹配可以控制成本,而验证则可防止能力强的 agent 发生漂移。由于许多 agent 不了解最新特性和语法,neuron agentic development skills 也提供了帮助。
灵活计算的优势
到目前为止,我们已针对美国西部(俄勒冈)区域(us-west-2)对 Inferentia2 进行了优化,但在单一区域调优单一硬件家族存在硬性限制。Spot 和按需实例的可用性因区域而异,而拥有众多消费者的组织实际上是在与自己竞争。锁定单一区域或实例类型几乎必然导致算力短缺,并可能造成服务降级。
Exa 通过一个 Kubernetes 控制平面跨多个区域调度算力。我们的调度器会比较不同实例类型的性价比,将 Pod 打包到成本最低的节点上,并在嵌入需求变化时重新调度。我们每优化一种硬件类型,就更接近全局最优解。这也是我们的 Inferentia2 工作能够直接迁移到 Trainium2 的原因。切换硬件配置让我们能够释放其他团队所需的节点,或吸收他们未使用的预留算力。对于长期运行的模型而言,跨硬件优化能带来巨大的回报。
结论
在 Exa 的运营规模下,从灵活多样的硬件池中榨取最大成本效益才是关键。将 Neuron 硬件加入该硬件池,并用 NKI 对其进行优化,已被证明是长期成本节约的重要来源。


