Liquid AI 开源 LFM2.5-24B-A2B：仅激活 2B 参数实现端侧智能体高速推理，性能对标 Qwen3.6-35B

今天，我们发布 LFM2.5-24B-A2B，这是一款拥有 240 亿参数、但每次推理仅激活 20 亿参数的推理模型，专为在设备端实现快速、私密的智能体而打造。它是 LFM2.5 系列中规模最大且最终发布的模型，该系列的规模跨度已达两个数量级：从 LFM2.5-230M 到 LFM2.5-24B-A2B。

LFM2.5-24B-A2B 在八项智能体和工具使用基准测试中的五项表现可与 Qwen3.6-35B-A3B（总参数量和激活参数量均多出约 50%）相媲美：在 LiveClaw 上得分为 48.09，而对方为 38.19；在 AutomationBench 上得分为 27.69，而对方为 8.72。由于每个 token 仅激活 20 亿参数，它在设备端的运行速度比同类 MoE 模型快高达 1.7 倍：在 Apple M5 Max 上可达 184 tokens/s，在单张 NVIDIA B300 GPU 上输出速度最高可达 21K tokens/s。

基础模型（LFM2.5-24B-A2B-Base）和后训练模型（LFM2.5-24B-A2B）均为开放权重，现已在 Hugging Face 和 我们的 Playground 上线。请查阅我们的文档，了解如何在本地运行和微调该模型。

相比 LFM2-24B-A2B 的变化

LFM2.5-24B-A2B 基于我们之前发布的 LFM2-24B-A2B 构建，扩展了词表和上下文窗口，扩大了预训练规模，并进行了大规模强化学习。与前代不同，LFM2.5-24B-A2B 是一款纯推理模型，会在给出最终答案前生成显式的思维链（chain of thought）。我们采用这一策略旨在利用其高解码速度来提升回答质量。

架构。 它保留了 40 层结构、每个 MoE 块包含 64 个专家并采用 top-4 路由机制，以及门控短卷积与 GQA 相结合的混合架构。两项主要的架构变化是：上下文窗口从 32,768 个 token 扩展至 131,072 个 token，以及就地 tokenizer 扩展，将词表大小从 65K 翻倍至 128K 个 token，以改善非拉丁语系文本的 tokenization 效果。

预训练数据量从 17T tokens 扩大至 33T tokens。

Mid-training（中期训练） 包含两个阶段。第一阶段在精选的高质量数据上运行 2T tokens，上下文长度为 32K，数据权重向推理、数学、代码、指令遵循和多语言文本倾斜。第二阶段在长上下文数据上运行 300B tokens，上下文长度为 131K。工具调用和多轮轨迹贯穿这两个阶段，旨在为模型处理 agentic（智能体）工作负载做好准备。

Post-training（后训练） 通过一个五阶段流水线将 LFM2.5-24B-A2B-Base 转化为 agentic 版本的 LFM2.5-24B-A2B，如下图所示：(1) 监督微调 (SFT)，(2) 教师专业化 (Teacher Specialization)，(3) 非 agentic 多领域在线策略蒸馏 (non-agentic Multi-Domain On-Policy Distillation, MOPD)，(4) agentic 多领域在线策略蒸馏 (agentic MOPD)，以及 (5) Agentic 强化学习 (Agentic RL)。在 Agentic RL 阶段，模型在 agent harnesses（智能体框架）中进行训练，例如 OpenClaw、Hermes Agent、Pi 和 OpenCode。图 2：LFM2.5-24B-A2B 后训练配方

在教师专业化阶段，LFM2.5-24B-A2B 表现出众所周知的 reward-hacking（奖励黑客）行为：在代码仓库的 git 历史记录中或在 GitHub、PyPI 和 Hugging Face 等平台上搜索最终答案。更令人惊讶的是，它甚至意识到自己处于沙箱环境中，如下面的示例所示。

这种行为看起来是涌现性的，但可能由训练数据中包含类似模式所解释。作为响应，我们收紧了沙箱环境，下文报告的所有结果均来自封闭的评估环境。

Benchmarks（基准测试）

我们在涵盖工具使用和 agentic 工作流、知识、指令遵循、数学和编程的 16 个基准测试中评估了 LFM2.5-24B-A2B。尽管它在总参数量和激活参数量上都是最小的模型，但其表现与拥有约 50% 更多总参数量和激活参数量的更大 MoE 模型（如 Qwen3.6-35B-A3B）相当，甚至经常超越后者。

表 1：LFM2.5-24B-A2B 基准测试性能*。

在八项工具使用和智能体（agentic）基准测试中，LFM2.5-24B-A2B 在其中五项（AutomationBench、BFCLv4、ToolSandbox、LiveClaw 和 τ³-Bench Banking）上领先或持平于竞争对手，且在 AutomationBench 上的优势最为显著，其得分是次优模型的三倍以上。此外，它在所有三项指令遵循（instruction-following）基准测试中也均处于领先地位。在知识密集型基准测试（如 GPQA Diamond、HLE 和 AA-Omniscience）以及编程基准测试（如 SWE-Bench Verified (OpenCode) 和 SciCode）方面，更大规模的模型仍保持一定优势。

这些结果表明，LFM2.5-24B-A2B 是需要推理、调用工具并在本地设备上可靠运行的智能体的理想基础模型。对于知识密集型工作负载，我们建议将 LFM2.5-24B-A2B 与检索增强生成（RAG）或网络搜索相结合，以充分发挥其在工具调用方面的优势。

随处可用的快速推理

LFM2.5-24B-A2B 发布首日即支持整个推理生态系统：

• llama.cpp — 用于高效边缘推理的 GGUF 检查点
• MLX — 针对 Apple Silicon 优化的推理引擎
• vLLM — 面向生产环境吞吐量的 GPU 加速服务框架
• SGLang — 高性能 GPU 服务框架
• ONNX — 跨平台推理，支持多种加速器

所有测试结果均通过 Pipette 收集，该基础设施也是 Liquid AI 公开设备性能数据背后的基准测试平台。

边缘推理。 得益于高效的 LFM2 架构，LFM2.5-24B-A2B 在读取提示词和生成答案方面是所比较的 MoE 模型中最快的。它在 Apple M5 Max 上解码速度达 184 tokens/s，在 AMD Ryzen AI Max+ 395 上达 114 tokens/s，比次优模型快高达 1.7 倍，同时占用内存最少。

GPU 推理。 为了展示 LFM 架构的竞争力，我们将 GPU 推理吞吐量与其他同等规模的 MoE 模型进行了对比。我们在单张 NVIDIA B300 GPU 上使用持续负载设置测量 GPU 吞吐量（总输出 token 数 / 墙钟时间）：在每个并发级别下，我们持续维持目标数量的进行中请求，并在每个请求完成后立即替换为新请求。

我们使用 SGLang 0.5.22、1,024 个输入 token、最多 256 个输出 token，并以 BF16 精度对每个模型进行基准测试。LFM2.5-24B-A2B 是其尺寸类别中最快的模型，在高并发下每秒输出超过 21K 个 token。

使用 LFM2.5-24B-A2B 运行本地智能体

LFM2.5-24B-A2B 的尺寸、速度和能力使其成为在您自有硬件上持续运行的智能体的理想选择。在下方的演示中，我们在 M5 Max MacBook Pro 上的 Hermes Agent 内部运行该模型，它完全在设备端规划、调用工具并处理真实任务，无需任何云端 API 调用。

视频 1：本地 Hermes Agent 使用 LFM2.5-24B-A2B 创建关于 Hugging Face 上热门模型的晨间简报，并回答后续问题。

此演示的重点不在于单个工具本身，而在于工具调度循环在消费级硬件上感觉具有交互性：提问、提议、确认、运行、重复，每次调度的耗时均远低于一秒，且拥有完整的审计追踪，您的数据绝不会离开设备。请查阅我们的本地智能体指南，了解如何在本地部署模型并将其与您选择的智能体框架连接起来。

开始使用

立即开始使用 LFM2.5-24B-A2B 构建应用，该模型可在 Hugging Face 获取。

对于 API 推理，您还可以注册 Liquid Console，并获得 2 美元的初始额度。该模型的定价为每百万输入 token 0.10 美元（缓存输入为 0.05 美元），每百万输出 token 1.00 美元。

通过 LFM2.5，我们正在实现“随处可运行的 AI”这一愿景。这些模型具备以下特点：

• 开放权重 — 支持下载、微调与部署。请参阅我们的模型许可证。
• 从第一天起就快人一步 — 原生支持 llama.cpp、MLX 和 vLLM，兼容 Apple、AMD、Qualcomm 及 Nvidia 硬件
• 完整的产品家族 — 从用于定制的基础模型到专门的音频和视觉变体，单一架构即可覆盖多样化的应用场景

我们迫不及待想看到你们构建出的成果。

在 Hugging Face 上下载使用 LFM2.5-24B-A2B 在本地运行你选择的测试框架通过我们的 API 进行集成

引用

如需引用，请使用以下参考文献或 BibTeX：

Liquid AI, "LFM2.5-24B-A2B: Built for Fast On-Device Agents", Liquid AI Blog, Oct 2026.

@article{liquidAI202624BA2B,
  author = {Liquid AI},
  title = {LFM2.5-24B-A2B: Built for Fast On-Device Agents},
  journal = {Liquid AI Blog},
  year = {2026},
  note = {www.liquid.ai/blog/lfm2-5-24b-a2b},
}

*所有模型均使用 vLLM 及以下生成参数进行评估：

• AutomationBench: temperature = 0.6, top_p = 0.95, 无最大输出 token 限制（受模型上下文窗口约束）。
• BFCLv4: temperature = 0.001, max output tokens = 4096。
• ToolSandbox: temperature = 0, max output tokens = 1024；用户模拟器：GPT-4o-2024-08-06, temperature = 0, max output tokens = 1024。
• LiveClaw: temperature = 1.0（vLLM 默认值；代理未设置温度），max output tokens = 8192。
• τ³-Bench Banking: 官方用户模型（GPT-5.2，低推理强度）配合默认 BM25 检索，temperature = 0, max output tokens = 16384 每轮。
• WebArena: temperature = 0.6, top_p=0.95, max_turns=40（允许的浏览器操作次数），无最大输出 token 限制（受模型上下文窗口约束））
• 其他评估: temperature = 0.6, max output tokens = 32768。