LongCat-2.5 发布 1.6T MoE 模型 强化长程智能体任务
美团 LongCat 团队发布 LongCat-2.5,这是一款拥有 1.6 万亿总参数、480 亿激活参数的原生多模态大模型。该版本重点强化了视觉理解与智能体编码能力,通过大规模长程强化学习提升复杂代码库开发及全项目构建的端到端工程能力。
报道正文
本文目录14 个章节
LongCat-2.5:面向智能体任务的原生多模态模型
2026-11-1
GitHub 即将发布HuggingFace 即将发布立即体验API 接入
我们推出 LongCat-2.5,一款专为长周期智能体(Agentic)任务设计的原生多模态模型。该模型总参数量达 1.6 万亿,每个 Token 激活约 480 亿参数,在 LongCat-2.0 的基础上进一步强化了原生视觉理解与智能体编程能力。
我们在长序列训练中融入了更多长周期轨迹数据,并利用大规模长周期强化学习来提升复杂代码库开发及完整项目构建中的端到端工程能力。通过数据合成、环境构建以及跨 Harness 的混合训练,我们持续扩展这一训练管线。此外,我们将现实世界中的智能体失败轨迹转化为可复现、可验证的训练任务,不断添加针对性训练数据以弥补模型的能力短板。
LongCat-2.5 还将视觉信号表示为多级离散 Token,使主干网络能够以统一的基于 Token 的格式处理视觉和文本输入。将原生视觉理解与智能体编程相结合,不仅带来了强劲的视觉编程性能,还同时支持创意设计和 3D 任务。
这些进步得益于基础设施的持续优化。我们在国产 AI 加速器上针对长上下文训练和 W4A4 推理进行了优化,同时通过保持训练与推理之间的数值一致性以及长上下文 Rollout 优化,实现了高效的大规模长周期强化学习。
指标仪表盘
为了清晰展示 LongCat-2.5 当前的能力水平,下图将其与 GPT-5.5、GPT-5.6-Sol、Claude-Opus-4.8 和 Claude-Opus-5 进行了对比。涵盖更广泛模型的详细评估结果将在本文后续部分的表格中呈现。
案例展示
以下每个案例均由 LongCat-2.5 端到端生成,涵盖软件开发和专业办公场景——从实时流体模拟、3D 数字展览和城市微缩景观,到商业分析、反馈报告和活动运营。点击任意案例即可观看完整演示。
软件开发 · Web 可视化 DEMO 01 / 08
演示视频即将发布
基于 LongCat-2.5 构建实时流体模拟与 VFX 工具,生成高帧率、可交互的网页,实现动态流体仿真。该工具赋能开发者、设计师及科学传播者,以美观且交互的方式可视化复杂的物理现象。
视觉基元建模
LongCat-2.5 将视觉信号表示为多级离散 Token,使主干网络能够以统一的 Token 格式处理视觉和文本输入。这种设计结合了原生分辨率视觉 Tokenization、离线视觉预处理以及与主干网络联合学习的视觉嵌入,在支持原生多模态集成的同时,简化了训练过程中的视觉计算和工作负载管理。
离散原生分辨率 Vision Transformer: 为了将视觉基元建模提升到类似于语言建模的 Token 级抽象,我们将视觉信号表示为多级词汇表 Token。我们通过对来自语义对齐编码器(Semantic-and-Aligned Encoder, SAE)的原生分辨率特征应用残差向量量化(Residual Vector Quantization, RVQ),克服了视觉离散化的信息瓶颈,正如 LongCat-Next 中所做的那样。
图 1. 原生分辨率视觉 Tokenization:不同分辨率的图像被编码为离散 Token 序列,并由视觉去 Tokenizer 重建。
离线视觉预处理: 为了减少在线视觉计算和工作负载异构性,固定的 Tokenizer 允许预先计算并缓存视觉 Token ID。因此,主干网络处理的是预 Tokenized 的序列,这简化了长序列打包和分区,并改善了分布式训练期间的负载均衡。
原生视觉表示: 视觉码本嵌入与主干网络联合学习。在一个平均激活参数约为 3B 的较小 MoE 模型上的初步验证显示,在 t-SNE 可视化中视觉和文本嵌入相互交织,表明它们在共享语义空间内实现了集成。
图 2. 视觉和文本嵌入的 t-SNE 对比。右图展示了在平均激活参数约为 3B 的 MoE 模型上的验证结果。
扩展智能体强化学习
RL 扩展是进一步提升模型智能的关键杠杆。对于 LongCat-2.5,我们在数据、环境、算法和执行框架(harnesses)方面扩展了端到端的智能体 RL 流水线,以应对长视野任务。
图 3. 面向长程任务的智能体强化学习(Agentic RL)流程,涵盖数据与环境、异步训练、奖励设计以及混合训练。
大规模数据合成与环境构建: 对于编程等智能体任务,模型从真实环境反馈中学习。可扩展的合成流水线会自动生成训练任务、交互式环境和可验证的测试用例。我们筛选 GitHub 拉取请求及相关 Issue,随后利用智能体对任务进行标注并合成环境,并通过“失败转通过”(F2P)和“通过保持通过”(P2P)测试进行验证。真实的内部编程任务和评估标准拓宽了对日常工程需求的覆盖范围。在线 rollout 通过率指导重新标注和过滤工作,而对假阳性和假阴性轨迹的离线分析则持续修正并扩展 F2P 测试,以更全面地覆盖任务规范并提高验证准确性。
异步强化学习与稳定性: 为了提高训练效率,我们采用异步部分 rollout 策略:每个 RL 步骤维持一定的过采样比率,一旦收集到完整批次,正在进行的轨迹将被中断、保存,并在下一个采样阶段恢复执行。我们根据预计算的通过率增加过采样量,并过滤掉那些所有 rollout 均成功或均失败的零梯度组,以确保足够的有效梯度信号。单条轨迹中的 token 可能由不同的历史检查点生成,从而引入陈旧性(staleness)。我们对采样策略与当前策略之间的 log-prob 差异进行裁剪,并利用累积的历史差异对每个 token 的梯度贡献进行重缩放,从而限制由陈旧性引起的梯度偏差。同权重下的数值差异则由基础设施章节中描述的“训练-推理对齐”机制处理。
奖励黑客行为与输出表现: 我们在任务环境中禁用网络访问,移除 git 历史记录和缓存文件,并使用 LLM 裁判审计轨迹以检测漏洞利用行为,从而遏制投机取巧的行为。额外的惩罚项用于抑制多轮交互过程中的重复推理和重复工具调用。为了对抗过度思考(overthinking)以及响应长度的过快增长,我们在正样本之间重新分配奖励。
混合训练与泛化能力: 该模型在强化学习(RL)阶段能够轻松适应相似的任务和脚手架。在早期训练阶段,仅需少量脚手架适配样本即可。在 RL 阶段,我们混合了针对不同基准测试的训练任务,并按不同比例扩展其对应的脚手架。跨任务和脚手架的混合训练提升了泛化能力,各任务上的性能增益相互促进。
从多位教师中学习
为了将专业化能力整合到主模型中,我们保留了 LongCat-2.0 针对智能体能力、推理和交互的专家组,涵盖多轮任务执行、单轮推理、细粒度指令遵循以及在不牺牲实用性的前提下保障安全性。在多教师在线蒸馏(MOPD)过程中,学生模型在各任务领域进行在线采样,领域专家通过对学生采样输出计算 全词表 KL 散度 来训练学生模型。
样本必须反映学生模型的实际任务行为,同时允许教师提供可靠的信号。为限制分布偏移,现有工作通常使用教师在监督微调(SFT)或强化学习(RL)期间看到的轨迹中的逐轮前缀作为学生采样的上下文。我们进一步将每个教师的响应拆分为固定长度的片段以形成“逐切分前缀”(per-cut prefixes),并将学生的自采样长度限制在相同范围内,以解决长单轮响应内部的分布偏移问题。
图 4. 用于学生在线采样的逐切分前缀。
为了控制计算和存储成本,来自同一教师轨迹的前缀被分组在一个推理引擎上,共享预填充计算和 KV 缓存。在训练方面,我们以教师轨迹为主干、学生采样为分支构建一棵树。树注意力机制(Tree Attention)在一次前向和反向传播中完成组内所有样本的在线策略蒸馏(OPD)训练,避免了教师轨迹的冗余计算和存储。
基于国产 AI 加速器的长上下文训练
LongCat-2.5 在中期训练和监督微调(SFT)阶段均采用了长序列训练。鉴于每颗国产 AI 加速器的内存不足 80 GB,训练系统优先考虑内存效率,并使其并行策略与超节点架构相匹配。
感知超节点的并行策略
LongCat-2.5 将其并行组与超节点(supernode)拓扑结构对齐,其中 FSDP 和 EP 的并行度等于每个超节点内的加速器数量,而 CP 的并行度不超过该数量。这使得参数 all-gather、专家 token 的 all-to-all 以及 KV cache 的 all-gather 操作均能在高带宽的超节点内部互联中完成。
混合词表并行(Hybrid vocabulary parallelism)通过在 DP × CP 域上分片基础嵌入层、LM head 和 N-gram 嵌入,进一步降低了内存消耗。
为了解决大规模专家并行中的负载不均衡问题,LongCat-2.5 基于 MoonEP 引入了基于阈值的动态专家复制机制。仅当 EP 负载不均衡达到预设阈值时才启用复制,从而避免通信开销超过负载均衡带来的收益,或因路由 token 导致的接收端 OOM,以及因通信导致的发送端 OOM。
离散图像 token 设计通过将视觉编码器从训练图中移除,简化了并行化过程。由于在数据打包和洗牌阶段已知图像 token 的数量,模态负载比例是可预测的;这使我们能够保持各数据并行 rank 上的模态比例大致均匀。
FSDP 与系统优化
LongCat-2.5 引入了双分片 FSDP(dual-shard FSDP),它在每个超节点内保持模型参数的 FSDP 分片,同时通过 HSDP 副本将 FP32 主权重和优化器状态跨 FSDP 域进一步分片,从而在保留高效参数通信的同时减少持久内存占用。
参数、梯度和优化器状态被组织成连续的扁平化缓冲区,以支持不均匀分片和 Muon 优化器分片;同时,直接的权重梯度写入和临时缓冲区复用减少了中间拷贝并降低了峰值内存使用量。
采用零拷贝 AllGather/ReduceScatter 操作以消除默认通信算法引起的中间拷贝,同时 EP 将 token 和路由概率打包传输,并调用基于 AIV 的通信以缓解 AI-CPU 任务扩展瓶颈。参数预取使 all-gather 与计算重叠,同时限制与 CP 的资源竞争,而 ScMoE 则使 EP 通信与密集分支计算重叠。
批量梯度操作、合并指标归约、CPU 核心绑定以及 NUMA 感知调度降低了主机端开销。总体而言,FSDP 配置在长序列 SFT 任务中实现了比 DDP 基线高 86% 的单设备吞吐量。
图 5. 在国产 AI 加速器上进行长上下文训练。
Agentic RL 基础设施
训练与推理之间的数值一致性
基于 IsoExec、GLM-5 和 XoRL,我们将训练、预填充(prefill)和解码(decode)的并行配置解耦,同时在几乎零性能开销的情况下保持逐 token 对数概率(log probabilities)的位级一致(bitwise-identical)。两个引擎均使用批次不变内核(batch-invariant kernels)和对齐的框架逻辑,并支持训练的反向传播。该系统在实验和生产任务中默认启用,为内核和框架变更提供数值回归基线。为解决因不同并行配置导致的数值不匹配问题,我们在社区方案基础上扩展了对 TP 和 DCP 的训练–推理一致性支持。
TP 用全 K GEMM 替代分段求和,避免了跨 rank 求和,且性能开销接近于零。训练和预填充保留分片权重,使用权重 AllGather 和输入 AlltoAll。解码使用列并行的 o_proj/fc2,配合输入 AllGather 和输出 AlltoAll,避免重复收集完整权重。
对于 DCP,训练前向传播和预填充使用稀疏注意力内核,在指定的 DCP 配置下复现解码阶段的 KV 分区和归约顺序,从而对齐训练、预填充和解码之间的数值结果。
长上下文 Rollout 优化
针对受控负载下的多轮长上下文 rollout,我们采用预填充–解码分离架构,为每个阶段选择并行配置,并优化以下三个方面:
-
有效缓存容量: 预填充使用 QCP 按 token 划分 Q,使用 KVP 按页分布 KV,避免 MLA 因 TP 导致的 KV 冗余复制。HiCache 在将 KV 重新加载到设备内存后释放未引用的主机副本。基于 Mooncake 的权重管理和 actor 卸载为 HiCache 释放了额外内存。
-
跨层预取: LSA 在下一个奇数层复用每个偶数层的 top-k 索引。解码阶段将奇数层的完整 KV 卸载到主机内存,仅保留较小的设备工作缓存。选定 KV 的预取与偶数层计算重叠,在不增加 TPOT 的情况下使解码 KV 容量几乎翻倍。
-
容量感知调度: 路由器根据 L1 + L2 容量和请求 token 数量控制准入,优先处理接近完成的组以生成训练批次并更早释放缓存。这防止了长轨迹中反复的前缀驱逐和大规模重计算。
图 6. 测试的长上下文工作负载的预填充/解码配置;在此设置下,3 的 P/D 实例比例表现最佳。
高效的 W4A4 推理
对于拥有 1.6 万亿参数的 MoE 模型,我们通过联合优化量化精度、底层内核和推理流水线,同时兼顾模型架构和国产 AI 加速器的硬件特性,开发了一种高效的 W4A4 推理解决方案。
该方案将专家权重和激活值均量化为 4 位,并在原生 INT4 单元上执行相应的矩阵乘法。
基于 FlatQuant 的可学习等效变换,我们进一步提升了 MoE 的量化精度,在所有评估的下游任务上实现了与未量化模型相当的性能。
在内核和数据路径层面,跨专家的共享输入变换使得在 token 复制和分发之前即可进行量化,从而允许相同的 INT4 表示在整个专家通信和计算过程中被复用。
我们将变换、缩放计算、量化和打包融合到专用内核中,并优化权重布局和转置内存访问,以减少数据移动和转换开销。
在系统层面,针对预填充和解码不同的执行模式,我们优化了计算-通信流水线的重叠,同时考虑模型的数据依赖性和硬件资源约束。
+0.0%
预填充吞吐量提升
+0.00%
解码吞吐量提升
−0.00%
TTFT(首字延迟)降低
−0.00%
TPOT(每输出 token 时间)降低
0.00×
GMM 内核加速比
在线压力测试显示,与 W8A8 INT8 基线相比,预填充吞吐量提升了 43.3%,解码吞吐量提升了 42.77%,而 TTFT 和 TPOT 分别降低了 15.91% 和 19.72%。在内核层面,GMM 相比 W8A8 实现了平均 1.73× 的加速。
评估
| 基准测试 | LongCat-2.5 | LongCat-2.0 | GPT-5.5 | GPT-5.6-Sol | Claude-Opus-4.8 | Claude-Opus-5 | GLM-5.3 | kimi-k3 | DeepSeek-V4.1-Flash | |
|---|---|---|---|---|---|---|---|---|---|---|
| 代码智能体 | Terminal Bench v2.1 | 88.4 | 70.8 | 83.2* | 88.8* | 74.6* | 89.1* | 88.2* | 88.3* | 90.6* |
| Terminal Bench v4.0 | 38.5 | 3.0 | - | 37.3* | 23.6* | 53.9* | 41.8* | 12.6* | 31.2* | |
| Program Bench Almost Resolved | 25.5 | 2.5 | 13.5* | 23.0* | 16.5* | 37.0* | 19.0* | 17.5* | 20.3* | |
| DeepSWE v1.1 | 64.6 | 9.7 | 67.0* | 72.7* | 59.0* | 68.8* | 66.9* | 67.5* | 74.2* | |
| PaperBench | 82.1 | 45.2 | 80.0 | 83.3 | 72.9 | 79.1 | 73.7 | 77.5 | - | |
| SWE Atlas - 代码库问答 | 58.3 | 33.1 | 45.4* | 46.0* | 57.3* | 63.2* | 58.3 | 54.3 | 55.2 | |
| SWE Atlas - 重构 | 55.2 | 35.7 | 44.8 | - | 46.7 | 51.9 | - | 49.5 | 56.7 | |
| SWE Atlas - 测试编写 | 47.8 | 28.0 | 42.6 | 45.9 | 49.6 | 62.2 | 42.2 | 42.2 | 48.9 | |
| NL2Repo | 60.5 | 40.9 | - | 56.8* | 69.7* | 75.3* | 58.0* | 58.0* | 65.4* | |
| LongCat AppDev Internal | 73.7 | 47.7 | - | 68.8 | - | 76.4 | 73.5 | 75.1 | - | |
| 通用智能体 | BrowseComp | 91.9 | 79.9 | 84.4* | 90.4* | 84.3* | 90.8* | 81.0 | 91.2* | 91.5 |
| AutomationBench v1.0.6 | 51.8 | 15.8 | 39.7 | 45.8* | 41.0* | 50.3* | 48.2* | 46.7* | 54.8* | |
| HLE w/ tools | 63.1 | 37.5 | 52.2 | 58.0* | 57.9* | 64.7* | 62.5* | 56.0* | 63.9* | |
| ALE v1.1 | 38.5 | - | - | 30.3* | - | - | 26.2* | 35.2* | - | |
| ResearchRubrics | 81.0 | 71.9 | - | 74.2 | - | 72.9 | 79.9 | 78.8 | 80.9 | |
| MCP Atlas | 83.1 | 61.8 | 75.3* | 81.8* | 82.2* | 85.8* | 84.2* | 84.2* | 84.4 | |
| JobBench | 65.4 | 44.4 | 38.3* | 45.4* | 48.4* | 66.7* | 61.4* | 52.9* | 63.2 | |
| SkillsBench | 63.3 | 36.8 | 62.6* | 54.1* | 59.2* | 60.4* | 52.9 | - | 69.8* | |
| GDPVal-AA rubrics | 84.8 | 72.9 | - | - | - | 87.7 | 87.7 | 86.6 | 86.8 | |
| FrontierScience | 77.0 | 66.0 | - | - | - | 78.0 | 75.0 | 70.0 | 73.0 | |
| SpreadsheetBench 2 | 34.9 | 24.1 | 30.2 | 33.3 | - | 33.0 | 35.8 | 34.8* | 33.0 | |
| FinSearchComp T3 | 63.4 | 42.4 | 62.2 | 62.2 | - | 64.0 | 62.2 | 64.0 | 64.3 | |
| Claw-Eval Pass^3 | 78.3 | 67.1 | - | 79.5 | 82.0 | 80.8 | 73.9 | 73.9 | - | |
| LongCatClawBench FORTE | 83.3 | 72.2 | 80.7 | 80.6 | 80.6 | 82.6 | 85.6 | 86.3 | 73.5 | |
| 视觉 | 3DCodeBench Text→3D | 55.4 | - | 51.9 | 52.3 | 52.7 | 54.3 | 53.4 | 49.3 | 53.3 |
| Vision2Web | 78.6 | - | 74.6 | 73.5* | 76.1* | 80.2* | 77.8* | 79.0* | 79.2 | |
| CharXiv-RQ w/ tools | 90.2 | - | 89.0* | 89.1* | 89.9* | 89.3* | - | 91.3* | 87.7 | |
| MathVision w/ tools | 96.5 | - | 96.8* | 97.8* | 97.1* | - | - | 97.8* | 97.4 | |
| VideoMME | 85.2 | - | - | 89.5* | 86.0* | - | - | 90.0* | - | |
| PosterBench | 77.4 | - | - | - | 82.3 | - | 82.4 | 76.8 | 75.3 | |
| LongCatClawBench-MM FORTE-MM | 72.1 | - | 63.5 | 73.2 | 69.9 | 73.1 | 69.0 | 70.7 | 72.8 |
除非另有说明,LongCat-2.5 的所有结果均在 enable_thinking=on、temperature = 1.0、top_p = 0.95 的设置下获得。其他模型中标记为 * 的分数来自公开的技术报告、博客文章或官方基准测试排行榜;未标记 * 的分数则为自行运行所得,仅供参考。
编码类 1. Terminal Bench v4.0 / v2.1、Program Bench、NL2Repo:使用 Claude Code harness(v2.1.280),max_seq_length = 512K;Terminal Bench v2.1 的结果为三次独立运行的平均值。 2. DeepSWE v1.1:使用 mini-swe-agent,温度 = 1.0,top_p = 0.95,max_seq_length = 1M;结果为三次独立运行的平均值。 3. SWE Atlas - 代码库问答与测试编写:使用 Claude Code(v2.1.116),以 Claude Opus 4.5 作为评判模型(对三次判断结果进行多数投票);结果为三次独立运行的平均值。 Agentic 类 4. BrowseComp:使用自定义轻量级 harness,包含 Verify 和 Discard-All 模块(Discard-All 阈值为 256K),探索轮次上限为 1,024 轮;仅可用 search 和 browse_with_goal 工具。 5. HLE w/ tools:纯文本子集,使用 Claude Code(v2.1.116)进行评估;最大生成长度为 256K tokens。 6. MCP Atlas:推理努力程度设置为 "max",温度 = 0.7,top_p = 0.95,上下文长度为 256K。 7. AutomationBench(公开版 v1.0.6):全部 600 个公开任务,使用基准测试官方评估代码进行评估;温度 = 1.0,top_p = 0.95。 8. JobBench(Main 65):使用 Claude Code harness(v2.1.280);评分遵循官方 JobBench LLM-as-judge 协议(针对提交的交付物采用链式评分标准),以 gemini-3.6-flash 作为评判模型;温度 = 1.0,top_p = 0.95,启用思考模式。 9. SpreadsheetBench 2:使用 Claude Code harness(v2.1.116),评分遵循基准测试官方协议;可视化子集由 gemini-3.6-flash 评判,图表在 Linux 上通过无头 LibreOffice(UNO 对象级导出)渲染,并以纯 Python OOXML/Pillow 渲染器作为备用方案。 10. SkillsBench v1.1(87 个任务):使用 Codex harness 进行评估,温度 = 1.0,top_p = 0.95,top_k = -1。 视觉类 11. Vision2Web:使用 Claude Code(v2.1.7),温度 = 1.0,top_p = 0.95,top_k = 50,序列长度为 256K。 12. VideoMME:每个视频最多采样 2,048 帧(1 fps),每帧最多 256 tokens,启用思考模式,使用提示词:“Answer with the option's letter from the given choices directly. You can only answer one letter from A, B, C, or D.” 13. CharXiv-RQ (w/ tools) 和 MathVision (w/ tools):温度 = 1.0,top_p = 0.95,最大生成长度为 131,972 tokens。