Liquid AI 开源 LFM2.5-24B-A2B：混合专家架构实现端侧高速私有智能体部署

返回文章列表

使用 LFM2.5-24B-A2B 在设备上运行快速、私密的智能体

团队文章 发布于 2026 年 10 月 13 日 点赞 5

Raahul Vignesh Raahul26 LiquidAI Song Duong sduong LiquidAI Akhilesh Deepak Gotmare akhileshdeepakgotmare LiquidAI Fernando Fernandes Neto fernandofernandes LiquidAI Jiahui Wang WWWjiahui LiquidAI Mayank Agarwal mayankagarwal LiquidAI nathan ranchin nathanrchn LiquidAI Sergei Tilga tilgasergey LiquidAI Sinoué GAD GAD-cell LiquidAI Tim Seyde tseyde LiquidAI Zetian Li zetianli LiquidAI changyi yang changyiyang LiquidAI Simon Lee yungisimon LiquidAI Leonie Monigatti iamleonie LiquidAI Maxime Labonne mlabonne LiquidAI Karthik Macherla karthikrmacherla LiquidAI Alfred Eng alfredeng LiquidAI Khoi Nguyen KTLK LiquidAI Paul Pak paulpak58 LiquidAI xx tugot17 LiquidAI Tarek Dakhran tdakhran LiquidAI Anthony Maltsev amaltsev LiquidAI

LFM2.5-24B-A2B 是一款拥有 240 亿参数、但每个 token 仅激活 20 亿参数的推理模型，专为在设备端构建快速、私密的智能体（Agent）而设计。它在回答前会先进行思考，能够调用工具，并在流行的智能体框架中处理多步骤任务。由于每个 token 仅激活 20 亿参数，其推理成本极低，因此你可以在自有硬件上持续运行智能体。

• 一流的智能体性能： 在智能体和工具使用任务上，与总参数量和激活参数量均多出约 50% 的 Qwen3.6-35B-A3B 相比具有竞争力，在 LiveClaw 基准测试中得分为 48.09，高于后者的 38.19。
• MoE 速度的推理能力： 始终在回答前先进行思考。由于每个 token 仅激活 20 亿参数，每个推理 token 的成本都非常低。
• 高效的推理速度： 在 Apple M5 Max 芯片上达到 184 tok/s，在单张 NVIDIA B300 GPU 上最高可达 21K 输出 tok/s。

我们如何构建一个仅激活 20 亿参数的推理智能体

LFM2.5-24B-A2B 基于 LFM2-24B-A2B 构建，并保留了其架构：40 层网络，每个 MoE 块包含 64 个专家并使用 Top-4 路由，以及相同的门控短卷积与 GQA（分组查询注意力）混合结构。上下文窗口从 32K 扩展至 131K tokens，并通过 就地分词器扩展 将词汇量从 65K 翻倍至 128K tokens，以更好地处理非拉丁语系文本。与其前身不同，这是一个纯推理模型，会在给出最终答案前生成显式的思维链（Chain of Thought）。

预训练规模从约 17T tokens 扩展到约 33T tokens。随后的中期训练阶段增加了 2T tokens（在 32K 上下文下），重点涵盖推理、数学、代码、指令遵循和多语言文本；以及 300B tokens（在 131K 上下文下），重点涵盖长上下文数据。在这两个阶段中，全程包含了工具调用和多轮轨迹数据。后训练阶段通过五个步骤将基础模型转化为智能体：

1. 监督微调（SFT）
2. 教师专业化
3. 多领域在线策略蒸馏（MOPD），非智能体任务： 在非智能体任务上对专家教师模型进行蒸馏。
4. MOPD，智能体任务： 专注于智能体任务的第二阶段蒸馏。
5. 智能体强化学习（Agentic RL）： 在智能体框架中训练模型，例如 OpenClaw、Hermes Agent、Pi 和 OpenCode。

Benchmark 结果

我们在涵盖工具使用、智能体工作流、知识、指令遵循、数学和编程的 16 个 benchmark 上，将 LFM2.5-24B-A2B 与 Qwen3.6-35B-A3B、Gemma-4-26B-A4B-it 以及 Nemotron-3.5-Lightning 进行了对比评估。尽管它是该组中参数规模最小的模型，但其性能可与总参数量和激活参数量多出约 50% 的 MoE 模型相媲美。

注：所有模型均使用 vLLM 推理引擎进行评估，采样温度设置为 0.1，top_p 设置为 0.95。对于需要代码执行的 benchmark，我们使用了标准化的沙箱环境以确保公平比较。

对于你的应用而言，其优势在于工具使用和指令遵循。LFM2.5-24B-A2B 在八个工具使用和智能体基准测试中的五个（AutomationBench、BFCLv4、ToolSandbox、LiveClaw 和 τ³-Bench Banking）上领先或持平于竞争对手，并且在 AutomationBench 上的得分超过次优模型的三倍以上。它还在所有三个指令遵循基准测试中保持领先。更大的模型在知识密集型基准测试（如 GPQA Diamond、HLE 和 AA-Omniscience）以及编程基准测试（如 SWE-Bench Verified (OpenCode) 和 SciCode）上仍具有优势，因此对于知识密集型工作负载，建议将 LFM2.5-24B-A2B 与检索增强生成或网络搜索配合使用。

这些结果使 LFM2.5-24B-A2B 成为需要推理、调用工具并在设备上可靠运行的智能体的强大基础。

CPU 和 GPU 上的推理速度

LFM2.5-24B-A2B 从发布首日起便支持整个推理生态系统，包括 llama.cpp、MLX、vLLM、SGLang 和 ONNX。

边缘推理。 LFM2.5-24B-A2B 是所比较的 MoE 模型中最快的，在 M5 Max 上解码速度为 184 tokens/s，在 Ryzen AI Max+ 395 上为 114 tokens/s。这比次优模型快多达 1.7 倍，同时占用内存最少。

GPU 推理。 LFM2.5-24B-A2B 是其尺寸级别中最快的模型，在单个 B300 上高并发场景下输出吞吐量超过 21K tokens/s。

如何使用 LFM2.5-24B-A2B

当你需要能够推理、调用工具并在设备上可靠运行的智能体时，请选择 LFM2.5-24B-A2B。

安装最新版本的 transformers（兼容 transformers>=5.0.0）：

pip install -U transformers

然后加载并运行模型：

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

model_id = "LiquidAI/LFM2.5-24B-A2B"
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    dtype="bfloat16",

)
tokenizer = AutoTokenizer.from_pretrained(model_id)
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

prompt = "What is C. elegans?"

input_ids = tokenizer.apply_chat_template(
    [{"role": "user", "content": prompt}],
    add_generation_prompt=True,
    return_tensors="pt",
    tokenize=True,
)["input_ids"].to(model.device)

output = model.generate(
    input_ids,
    do_sample=True,
    temperature=0.1,
    top_k=50,
    repetition_penalty=1.05,
    max_new_tokens=512,
    streamer=streamer,
)

在你的 Agent Harness 中使用

在本地通过任意兼容 OpenAI API 的后端部署 LFM2.5-24B-A2B，然后将你的 agent harness 指向该服务。例如，使用 Hermes Agent：

hermes config set model.provider custom
hermes config set model.base_url http://localhost:8080/v1
hermes config set model.default LFM2.5-24B-A2B
hermes config set model.context_length 131072
hermes config set model.api_mode chat_completions
hermes config set agent.tool_use_enforcement true

端口取决于你使用的推理后端：llama.cpp 和 MLX 使用 8080，vLLM 使用 8000，SGLang 使用 30000，LM Studio 使用 1234。有关 OpenClaw 和 Pi 的配置，请参阅 模型卡片，完整设置指南请查看 我们的文档。视频示例请访问我们的 发布博客。

开始使用 LFM2.5-24B-A2B

LFM2.5-24B-A2B 和 LFM2.5-24B-A2B-Base 均为开放权重模型，现已在 Hugging Face 上提供：

• 下载： 在 Hugging Face 上获取 LFM2.5-24B-A2B-Base 和 LFM2.5-24B-A2B。
• 在 Harness 中使用： 按照我们的 指南 运行本地 agent，如 OpenClaw、Hermes Agent 和 Pi。
• 微调： 使用我们的 微调教程 将 LFM2.5-24B-A2B 适配到你的特定任务。

我们迫不及待想看到你们构建出的成果。

引用

如果你使用了这项工作，请引用发布博客：

@article{liquidAI202624BA2B,
  author  = {Liquid AI},
  title   = {LFM2.5-24B-A2B: Built for Fast On-Device Agents},
  journal = {Liquid AI Blog},
  year    = {2026},
  note    = {www.liquid.ai/blog/lfm2-5-24b-a2b},
}