Ripple-65B 发布 刷新美国开源智能体编程 SOTA

Ripple-65B Preview 发布：

一款前沿开放权重模型

在智能体编程领域实现美国开放权重 SOTA

Ricursive Intelligence 是一家全栈人工智能实验室，通过协同优化硬件、软件和模型来构建自我改进系统。

为了驱动我们的芯片设计平台，我们从零开始训练了一个语言模型，该模型在智能体编程方面创造了新的美国开放权重 SOTA（State-of-the-Art，最先进水平）。我们针对训练和推理平台优化了模型架构，从而实现了显著的效率提升。

今天，我们发布 Ripple-65B Preview，这是支撑我们 AI 芯片设计平台的专有模型的通用版本。该模型在 12 万亿个 token 上进行预训练，支持高达 1M 的上下文长度。Ripple-65B Preview 在智能体编程方面表现强劲，在 TerminalBench 2.1 上取得了 80.52 分，达到美国开放权重模型的最先进水平，并显著超越了参数量大得多的其他美国开放权重模型，如 Reflection Beam 501B (80.1)、Meta Muse Spark Open 816B (76.4)、Thinking Machines Inkling 975B (63.8) 以及 NVIDIA Nemotron 3 Ultra 550B (56.4)。

Ripple 的稠密模型架构提供了强大的推理性能以及低延迟的 token 生成能力。由于模型参数规模较小，它也能高效运行于本地设备（如 NVIDIA DGX Spark）上，这类设备相对于数据中心加速器而言，具有高计算 FLOPs 但内存带宽较低的特点。

Ripple-65B Preview 现已上线 Hugging Face、Together AI、GMI Cloud 和 OpenRouter。Fireworks 将于今日晚些时候上线。

以十分之一的成本实现美国开放权重前沿水平

LLM 预训练的高昂成本众所周知。2023 年，OpenAI CEO Sam Altman 表示 GPT-4 的训练成本 超过 1 亿美元。次年，Dario Amodei 指出前沿 AI 模型的训练成本可能高达 10 亿美元，并预测仅预训练一项的成本将在 2026 至 2027 年间攀升至 100 亿至 1000 亿美元。

相比之下，我们仅花费 3200 万美元就开发并训练了 Ripple-65B Preview，据我们所知，这大约是此前在智能体编程（agentic coding）领域开源权重 SOTA 模型成本的十分之一。¹ 请注意，这 3200 万美元是我们从零开始的全额研发成本，包括预训练阶梯开发、数据混合、评估、调试、合成数据生成、后训练配方开发，以及最终的旗舰级预训练和后训练运行。

陡峭上升的强化学习

我们没有投入资源进行蛮力式的 RL 爬升，而是仔细迭代我们的 SFT 和 RL 配方，重点关注计算效率。我们选择不购买任何后训练数据，而是自行设计了合成数据流水线、质量过滤和覆盖率指标。

我们的混合 RL 配方使用了截断重要性采样、分数中心化和线性长度惩罚，并结合高质量的长视野合成环境。RL 任务是根据我们的模型能力进行调优的，并且随着模型的改进，我们不断添加更难的任务。

最终结果是从一个强大的初始 SFT 检查点实现了陡峭的 RL 爬升。我们仅用 140 万次 rollout 就在 TerminalBench 2.1 上达到了 80.5 分，rollout 次数大约比之前的 SOTA 模型 Reflection Beam 少 70 倍。

协同设计的模型架构

Ripple-65B Preview 的架构旨在 NVIDIA 硬件上进行高效训练和服务。一个关键目标是做出能够降低预训练和后训练基础设施复杂性的设计决策，同时仍保持强大的推理和智能体性能。因此，我们选择训练一个现代化的稠密 Transformer 模型，而不是像其他实验室那样使用专家混合模型（MoE）。这一决定很快见效，使我们能够从 scratch 训练出一个强大的模型，并在整个预训练和后训练过程中保持稳定的 MFU（40%），即使采用简单的分片策略、不使用自定义内核且不进行量化也是如此。

Ripple-65B Preview 采用“窄而深”的模型宽高比，其 d_model 较窄（5120），总层数为 80。为了提升推理性能，我们在增加 SWA（滑动窗口注意力）与全局注意力层比例的同时，超配了注意力头数量，并减小了 SWA 窗口大小以抵消由此带来的成本增加。此外，我们还引入了 FFN 激活值裁剪、门控注意力、全局 NoPE 以及 值残差。

精细的模型阶梯实验带来显著提升

我们通过一系列精心设计的模型阶梯实验，优化了 Ripple 的预训练配方。

我们的起点是 Olmo 3 的模型阶梯，在此基础上，我们在小规模上测试各种干预措施，重点在于提升编码能力。v1.0 阶梯实现了 StepFun 的批量大小和学习率缩放定律；v1.1 则实现了我们新的阶梯方案，能够平滑地扩展架构维度和模型深度。Ladder v1.2 从后归一化（post-norm）基线切换为前+后归一化（pre+post norm），在小规模上效果中性，但从 4B 规模开始显示出改进。Ladder v1.3 实现了 sigmoid 门控注意力。Ladder v1.4（双流 mHC）在较小规模上表现良好，但在 4B 规模上未带来改进，因此被舍弃。Ladder v1.5 切换至 全局 NoPE，并将最终学习率冷却至零；Ladder v1.6 添加了 值残差。在最终版本中，我们切换到了自定义预训练数据集，其中代码数据经过了大幅上采样。

综合来看，这些叠加的改动使代码任务的计算效率提升了高达 16 倍（以 4B 模型规模下的 dolma_stack CE 衡量）。换句话说，使用我们最终的 Ripple 模型阶梯，仅需 1/16 的计算量即可达到与 Olmo 3 阶梯相当的代码性能。值得注意的是，Olmo 3 阶梯基线的斜率比 ladder v1.0+ 更平缓，这表明随着规模的进一步扩大，计算效率的提升将更加显著。

结论

我们构建了 Ripple-65B Preview，旨在开始闭合模型与驱动模型的硬件之间的循环。该模型的内部变体为我们的 AI 芯片设计平台提供动力，我们期待随着向技术前沿的扩展，涌现出更多新能力。

我们很幸运能够建立在现有的开源贡献之上，包括来自艾伦人工智能研究所（AI2）Olmo 团队、Prime Intellect、RadixArk 和 NVIDIA 的贡献。强大的开源生态系统具有自我改进的特性：贡献者增强生态系统，而生态系统反过来又吸引更多贡献者。

在 Ricursive，随着我们将全栈 AI 从模型到硅片推向技术前沿，我们正在精选招聘杰出的研究人员和工程师。如果你感兴趣，请查看 https://www.ricursive.com/careers。

¹ 据报道，像 Reflection 这样的美国开放权重玩家承诺每月投入 1.5 亿美元，使用 SpaceX Colossus 的计算资源来训练其模型。Reflection 报告称，Beam 模型用了 4 周进行预训练，又用了 4 周进行后训练。

© 2026 Ricursive Intelligence, Inc.