Mistral Large 4 开源万亿参数模型主打编码与安全Hugging Face BlogT1·基座大模型

Mistral Large 4 上线 Hugging Face 支持多模态与 MoE 架构

原标题：Welcome Le Chonk: Mistral Large 4 on Hugging Face

85AI 研判分

Mistral AI 发布新一代旗舰模型 Mistral Large 4（代号 Le Chonk），该模型采用混合专家（MoE）架构，具备多模态和多语言能力。目前已在 Hugging Face Hub 提供权重下载、GGUF 量化版本及推理端点部署支持，开发者可立即进行本地运行或微调。

报道正文

本文目录15 个章节

返回文章列表

欢迎 Le Chonk：Mistral Large 4 登陆 Hugging Face

发布于 2026 年 10 月 29 日在 GitHub 上更新点赞 9

+3

merve merve 关注 Alvaro Bartolome alvarobartt 关注 Rémi Ouazan Reboul ror 关注 Cyril Vallez cyrilvallez 关注 Quentin Gallouédec qgallouedec 关注 Enrique Hernández Calabrés ehcalabres 关注 Juan Julián juanjucm 关注 Xuan-Son Nguyen ngxson 关注 Pedro Cuenca pcuenq 关注 ben burtenshaw burtenshaw 关注 Aritra Roy Gosthipaty ariG23498 关注

Mistral Large 4（又名 Le Chonk）是 Mistral 推出的一款多模态、多语言混合专家（MoE）模型。它支持文本和图像作为输入，并生成文本输出。该模型拥有约 1T 总参数，49B 激活参数，以及 1M token 的上下文窗口。

该模型发布了两个官方变体：

FP8
NVFP4

此外，还有由 Unsloth 和 llama.cpp 团队创建的 GGUFs。该模型采用 Mistral Ecosystem Open-Weight License（一种基于 MIT 许可证的衍生协议，对模型即服务（MaaS）产品设定了限制）进行分发。

Mistral Large 4 在网络安全、编码代理和多模态任务方面表现尤为出色。在这篇文章中，我们将探讨该模型的工作原理、能力、架构等内容！

Mistral Large 4 的新特性

Mistral Large 4 结合了大规模专家池、稀疏注意力机制以及 Pixtral 视觉编码器。该语言模型为每个 token 选择一小部分专家，而其注意力索引器则选择需要关注的前序 token 位置。这是两种不同形式的稀疏性：一种用于选择前馈网络，另一种用于选择上下文位置。

你可以在 Mistral Large 4 集合中找到所有检查点。

网络安全能力

在 Artificial Analysis Cyber Index 测试中，Mistral Large 4 取得了 82% 的成绩。该测试要求模型复现开源软件中的真实漏洞，然后对软件进行修补。Mistral 报告称，由于拒绝尝试执行此类任务，几款闭源前沿模型在同一测试中的得分接近零。这对防御者来说至关重要，因为修复漏洞通常需要先复现漏洞。在 Mistral 的内部测试中，Mistral Large 4 还被证明在恶意软件分析、漏洞优先级排序和编写检测规则方面非常有用，尽管模型并未针对这些任务进行显式训练。

Mistral 主要将该模型定位为防御性安全工作。漏洞研究和事件响应在模型输入中往往看起来像攻击，因此闭源过滤器可能会将其拦截。依赖 API 的团队也可能在事件处理过程中失去访问权限。关键在于，开放权重模型将使用政策和部署控制权都交给了用户。尽管如此，该模型仍然会拒绝有害请求：在来自 JailbreakBench、StrongREJECT 和 AgentHarm 的网络提示上，其平均拒绝率高于任何其他开放权重模型。

对于社区构建者而言，像 Mistral Large 4 这样的开放权重模型解锁了大量下游用例。你可以围绕自己的代码库、崩溃日志和恶意软件样本构建自己的网络安全系统。例如，利用 TRL 进行微调，你可以基于 Mistral Large 4 的轨迹来修补你的代码库，从而训练更小的模型。事实上，“复现后修补”（reproduce-then-patch）任务使用可验证奖励，因此它适合用于进一步通过强化学习（RL）训练小型安全模型的 RL 环境。开放权重还允许研究人员直接测量模型的拒绝行为，而不是依赖提供商的描述。

简而言之，像 ML4 这样具备网络能力的开放模型对社区来说是一个巨大的推动力。

我们采访了 Pierre Stock，探讨了该模型的网络能力，你可以在这里观看。

架构

Mistral Large 4 的文本解码器拥有 72 层，隐藏维度为 6,144，以及 64 个注意力头。其注意力块结合了多头潜在注意力（Multi-head Latent Attention, MLA）与 DeepSeek 稀疏注意力（DeepSeek Sparse Attention, DSA）索引器（这是 GLM 5.3 等其他模型采用的方向）。MLA 保持压缩的 KV 表示，而 DSA 为每个查询选择最多 2,048 个关键位置。

对于每个解码器块，采用 3 的 RoPE 与 NoPE 混合模式，即每四个解码器层中，前三层使用 RoPE，第四层使用 NoPE。该模型还在各层之间共享 KV 状态。

第一个解码器层使用稠密前馈网络（Dense Feed-Forward Network）。其余 71 层使用 MoE 模块，其中 Softmax 路由器为每个 Token 从 128 个专家中选择 4 个。此外，始终有一个共享专家与被选中的专家并行运行，因此每个 Token 总共有 5 个激活专家。

关于 RoPE，Mistral 使用了 LeRope，这是一种基于 YaRN 缩放的 RoPE，每个频率对应一个可学习的乘数。

视觉编码器

Mistral Large 4 采用了 1.6B 参数的 Pixtral 编码器。Pixtral 包含 30 层，隐藏维度为 2,048，拥有 16 个注意力头。它使用 14 × 14 的图像块（Patch），并配备空间合并大小为 2 的 Patch-Merge 投影器。编码器流程如下图所示。

基准测试结果

Mistral Large 4 在编程、网络安全、多模态理解和智能体工作流方面均展现出强劲的基准测试性能，使其成为开源权重生态系统中极具竞争力的补充。截至 2026 年 10 月 29 日，该模型在 Artificial Analysis Intelligence Index 上排名第五，是表现最好的开源权重模型之一。

在编程方面，ML4 在 DeepSWE v1.1 上达到 61.7%，在 SWE-Atlas-QnA 上达到 59.4%，在 Terminal-Bench 4 上达到 28.3%。其综合 Coding Agent Index 得分为 49.8%，领先于 DeepSeek V4 Pro 0813 和 Qwen3.8 Max。

ML4 的编程能力延伸至知识工作领域，其在评估业务工作流和长周期专业任务的 AutomationBench 上得分 59.9%，在 AA-Briefcase 上的 Elo 评分为 1,393。

网络安全是 Mistral Large 4 的突出优势之一，在真实世界漏洞评估和安全竞赛任务中均取得了强劲成绩。以下三个基准测试突显了该模型的网络安全评分：

Artificial Analysis Cyber Index： 在这项独立评估模型发现和修复软件漏洞能力的基准测试中，ML4 位列全球前五。
漏洞复现与修补： 它取得了 82% 的成绩，是该指数内报告的最高分。该任务要求复现开源软件中的真实漏洞并进行修补，同时考察调查和修复能力。
Cybench： ML4 解决了来自安全竞赛的 40 个挑战中的 93%，展示了在实战安全问题上的强劲表现。

Mistral Large 4 还在 Lakera 的 B3 基准测试中展现了 93.3% 的攻击抵抗力，进一步证明了其抵御提示注入攻击的鲁棒性。除基准测试外，内部测试显示其在恶意软件分析、漏洞优先级排序和检测规则生成方面也有令人鼓舞的表现。

推理支持

Mistral Large 4 发布即支持 transformers、vLLM 和 llama.cpp。GGUF 量化版本可通过 GGUF 和 llama.cpp 团队获取。我们提供通过 Inference Endpoints 进行远程部署的选项，以及通过 Inference Providers 使用无服务器推理服务。

Transformers

Transformers 实现提供了 AutoModelForMultimodalLM，其中 AutoProcessor 用于准备对话和图像输入。Mistral Large 4 支持将推理努力程度设置为 low、medium 或 high。默认为 high，请注意推理功能无法禁用，因此即使设置 reasoning_effort: none，仍会使用 high 模式。

要运行该模型，请升级 transformers 包

BASH

pip install --upgrade transformers

PYTHON

import os
from transformers import AutoProcessor, AutoModelForMultimodalLM, DistributedConfig

distributed_config = DistributedConfig(
    tp_size=int(os.environ["WORLD_SIZE"]),
    ep_size=int(os.environ["WORLD_SIZE"]),
)

model_id = "mistralai/Mistral-Large-4-1T-A52B"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
    model_id,
    distributed_config=distributed_config,
)

# only text
text_messages = [
    {
        "role": "user",
        "content": "Who are you?"
    }
]

文本 + 图像

multimodal_messages = [ { "role": "user", "content": [ { "type": "image", "image": "https://huggingface.co/datasets/huggingface/cats-image/resolve/main/cats_image.jpeg", }, { "type": "text", "text": "How many cats are in the image?", }, ], }, ]

for messages in [text_messages, multimodal_messages]: inputs = processor.apply_chat_template( messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt", reasoning_effort="medium", ).to(model.device).to(model.dtype) input_len = inputs["input_ids"].shape[-1]

文本

outputs = model.generate(**inputs, max_new_tokens=100)
if int(os.environ["RANK"]) == 0:
    print(processor.decode(outputs[0][input_len:], skip_special_tokens=False))

文本


你可以将上述脚本保存为 Python 文件 `script.py`，然后运行以下命令来执行它：

```bash
torchrun --nproc-per-node 8 script.py

vLLM

vLLM 支持高质量的 NVFP4 Mistral Large 4 检查点，该检查点具有更小的内存占用，并需要 NVIDIA Blackwell GPU。该模型还附带了一个用于在 vLLM 中实现额外加速的 DSpark drafter（草稿生成器）。请按如下方式启动服务器：

vllm serve mistralai/Mistral-Large-4-1T-A52B-NVFP4 \
  --config-format mistral \
  --load-format mistral \
  --tensor-parallel-size 8 \
  --decode-context-parallel-size 8 \
  --enable-expert-parallel \
  --dtype bfloat16 \
  --max-model-len 131072 \
  --max-num-seqs 16 \
  --max-num-batched-tokens 2048 \
  --gpu-memory-utilization 0.85 \
  --enable-prefix-caching \
  --enforce-eager \
  --mm_processor_cache_gb 0.0

服务器启动并运行后，你可以执行以下命令。

curl -s http://127.0.0.1:8000/v1/chat/completions -H 'Content-Type: application/json' \
  -d '{"messages":[{"role":"user","content":"What is 17*23?"}],"max_tokens":512}'

Llama.cpp

Llama.cpp 和 Llama App 已经支持 Mistral Large 4。

你可以通过以下命令安装 Llama App：

curl -LsSf https://llama.app/install.sh | sh

然后，你可以按如下方式启动服务器，并在模型 ID 后指定量化后缀：

llama serve -hf ggml-org/Mistral-Large-4-1T-A52B-GGUF:Q2_K

这里是仓库，其中包含从 FP8 检查点派生的量化模型，而这是 NVFP4 版本，由官方 NVFP4 仓库转换而来。

服务器启动后，你可以访问 localhost:9931，使用内置的 WebUI 进行聊天。在 Web UI 中，你可以添加图像以进行推理，并调整推理力度（reasoning lever）。你也可以按如下方式查询服务器。欢迎查阅 API 参考文档以了解多模态、工具调用等更多功能。

curl http://localhost:8080/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "messages": [
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user", "content": "Write a limerick about python exceptions"}
        ]
    }'

你可以按如下方式运行图文混合推理。

curl -s http://127.0.0.1:8080/v1/chat/completions \
    -H "Content-Type: application/json" \
    -H "Authorization: Bearer <your-key>" \
    -d '{
        "model": "muse-spark-open",
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "type": "text",
                        "text": "What is in this image?"
                    },
                    {
                        "type": "image_url",
                        "image_url": {
                            "url": "data:image/png;base64,..."
                        }
                    }
                ]
            }
        ],
        "temperature": 0
    }'

llama.cpp 团队提供了以下量化格式：IQ2_XXS、Q2_K、Q4_K_M、NVFP4、Q8_0 以及用于进一步转换的 BF16。2-bit 量化模型可在配备 512 GB 统一内存的单台 Apple Silicon Ultra 计算机上运行。其他量化格式则需要分布式推理。你也可以在多个 NVIDIA 或 AMD 显卡上运行。

在单台 M3 Ultra 上运行 Q2_K 时，我们测得预填充（prefill）吞吐量约为每秒 90 个 token，生成速度为 15 tok/s。在 4 张 RTX 6000 Pro 显卡上，我们观察到以下结果：

NVFP4：上下文长度为 32K，预填充速度为 130-590 t/s，生成速度约为 10 t/s
IQ2_XXS：上下文长度为 800K。在短上下文长度下，预填充速度为 500 tok/s，生成速度为 30 tok/s。然而，在使用长上下文时，性能下降至预填充 129 tok/s，生成 3 tok/s。

使用 TRL 进行微调

我们还提供了对使用 TRL 微调 Mistral Large 4 的 Day-0 支持。你只需将 transformers、trl 和 peft 升级到最新版本即可。

pip install --upgrade transformers trl peft

在以下示例中，我们训练模型以执行多语言思考。微调后的模型能够根据系统提示所要求的语言进行推理！

该脚本在由 8 块 B300 GPU 组成的节点上运行 FP8 变体。

# torchrun --nproc-per-node 8 sft.py
import os

from datasets import load_dataset
from peft import LoraConfig
from transformers import AutoModelForImageTextToText, DistributedConfig
from trl import SFTConfig, SFTTrainer

world_size = int(os.environ["WORLD_SIZE"])
model_id = "mistralai/Mistral-Large-4-1T-A52B"
model = AutoModelForImageTextToText.from_pretrained(
    model_id,
    distributed_config=DistributedConfig(fsdp_size=world_size, ep_size=world_size),
    dtype="auto",
)

dataset = load_dataset("HuggingFaceH4/Multilingual-Thinking", split="train")
# the assistant turns carry reasoning, so render them in reasoning mode
dataset = dataset.map(lambda x: {"chat_template_kwargs": {"reasoning_effort": "high"}})

trainer = SFTTrainer(
    model=model,
    args=SFTConfig(
        packing=True,
        max_length=4096,
        assistant_only_loss=True,
        learning_rate=1e-4,
        lr_scheduler_type="cosine",
        warmup_steps=10,
    ),
    train_dataset=dataset,
    peft_config=LoraConfig(
        r=16,
        lora_alpha=32,
        target_modules=r".*language_model.*\.(q_proj|kv_a_proj_with_mqa|kv_b_proj|o_proj|gate_proj|up_proj|down_proj)",
    ),
)
trainer.train()

Inference Endpoints（推理端点）

Mistral Large 4 也已在 Inference Endpoints 上提供，并附带了可在 8 块 NVIDIA H200 GPU 上直接部署的配置方案。该配置方案运行 vLLM，利用张量并行（Tensor Parallelism）和专家并行（Expert Parallelism）将 FP8 权重分布在所有八块 GPU 上，并使用模型内置的 DSpark 草稿头（draft head）通过推测解码（speculative decoding）实现更快的生成速度。它支持最高 131K tokens 的上下文长度，并可同时处理最多 16 个请求，我们观察到的结果如下：

单请求：对于 1K token 的提示词，首 token 生成时间（TTFT）约为 0.6 秒，生成速度约为 65 tok/s；在 DSpark 草稿被接受的聊天提示词场景下，速度可达 120–138 tok/s。
长提示词：每次处理四个 16K token 的提示词时，总预填充速度约为 4,300 tok/s，首 token 生成时间为 8–9 秒。
高负载下：在 1,000 个 ShareGPT 对话中，总生成速度约为 480 tok/s。

你可以使用 hf CLI 按如下方式部署：

hf endpoints catalog deploy --repo mistralai/Mistral-Large-4-1T-A52B --name mistral-large-4

端点运行后，你可以使用端点 URL 和你的 Hugging Face token 查询其兼容 OpenAI 的 API。reasoning_effort 字段用于控制模型在回答前进行推理的程度，可设置为 low、medium 或 high（默认值）。

curl "$(hf endpoints describe mistral-large-4 --json | jq -r .status.url)/v1/chat/completions" \
    -H "Authorization: Bearer $(hf auth token 2>/dev/null)" \
    -H "Content-Type: application/json" \
    -d '{
        "model": "mistralai/Mistral-Large-4-1T-A52B",
        "messages": [
            {"role": "user", "content": "Write a limerick about python exceptions"}
        ],
        "reasoning_effort": "medium"
    }'

答案位于 choices[0].message.content 中，推理过程位于 choices[0].message.reasoning 中。该端点还支持通过标准的 Chat Completions 字段实现工具调用、结构化输出、图像输入和流式传输。

Dell Enterprise Hub

要在你的 Dell AI 服务器（NVIDIA H200、B200、GB200 或 GB300）上快速上手，最简单的方法是安装 dell-ai CLI：

pip install dell-ai && dell-ai login

并使用它在例如 NVIDIA B300 节点上运行针对 Mistral Large 4 优化的配置方案。

dell-ai models deploy --model-id mistralai/Mistral-Large-4-1T-A52B-NVFP4 \
    --engine docker \
    --platform-id xe9780-nvidia-b300 \
    --gpus 4

你可以在 Dell Enterprise Hub (DEH) 中了解更多关于此版本的信息。

试用体验

从 Mistral Large 4 合集获取权重，使用 GGUFs 在本地运行，或通过 Inference Endpoints 进行部署。我们迫不及待想看到你用 Le Chonk 构建出什么成果。请在 Hub 上分享你的微调模型、量化版本和其他产物！