Anthropic IPO 路演披露四芯片训练战略
Anthropic 在 IPO 路演视频中首次系统披露其算力战略：Claude 的训练与推理同时运行在 AWS Trainium、Google TPU、NVIDIA GPU 与 AMD GPU 四大芯片家族之上。联合创始人 Tom Brown 称，这一多芯片押注源于早期非常规决策，如今接入新芯片平台的周期已从数十名工程师数月缩短至由内部模型 Mythos 主导完成。
报道正文
Anthropic 昨天启动了他们的 IPO 路演，路演视频中包含了一些此前未公开的关于其业务运作方式的信息。
联合创始人 Tom Brown 出镜的“算力策略”部分尤其有趣，其中描述了 Anthropic 如何跨 AWS Trainium、Google TPU、NVIDIA GPU 和 AMD GPU 训练和 serving Claude。
我不确定为什么没有官方视频文字稿，但这里有一份我用 MacWhisper 提取的文稿。以下为亮点：
我们现在跨全部四大芯片家族训练和 serving Claude。这之所以可能，是因为我们很早就对多芯片策略下了一个非常规的赌注。当时，许多人认为在不同芯片上运行 AI 模型不值得付出努力。每款芯片都需要自己量身定制的软件栈和推理栈，构建成本高昂且难度很大。我们现在已经做了多年，并且变得极其擅长。 [...] 举个例子，今年我们首次开始使用 AMD GPU。过去，引入一个新的芯片平台需要数十名工程师花费数月工作。这一次，我们让 Mythos 试了试。它在短短三天内就让 Claude 在 AMD 上运行起来，基本上没有人工干预。Claude 移植或编写了几乎 100% 的 kernel。 [...] 我们算力优势的第二个驱动因素，是我们发现算力乘数的速度。我们关注总算力，即物理容量与我们发现的算力乘数的乘积。我们每发现一个乘数，都会让我们的总算力池变得更大。例如，假设你需要 100 个算力单位来训练一个具有某种智能水平的模型。4 倍算力乘数意味着你可以用 25 个算力单位来训练完全相同的模型。或者，你可以用那 100 个物理单位来训练一个更智能的模型，而这样的模型此前需要 400 个单位。 算力乘数为我们创造了难以复制的竞争优势。它们会相互叠加。我们每发现一个新乘数，都会对之前的乘数产生正向影响。它们会叠加。我们相信，随着我们接近递归自我改进，这一进程还能进一步加速。Claude 将能够完全靠自己发现算力乘数，使算力乘数的数量增长得越来越快。
去年九月，Anthropic 在其对近期三个问题的复盘中，透露了其多芯片策略的线索，文中描述了仅影响其 TPU 部署的缺陷。
标签：ai、generative-ai、llms、anthropic、gpus、claude-mythos-fable、recursive-self-improvement