Swiss AI 开源 Apertus 1.5：多模态增强与长上下文升级，Apache 2.0 协议发布

返回文章列表

Apertus 1.5 发布说明

团队文章 发布于 2026 年 10 月 15 日 点赞 8

Hanna Yukhymenko hannayukhymenko swiss-ai Oleg Lavrovsky loleg swiss-ai Y Metz ymetz swiss-ai

我们最新的版本 Apertus 1.5 在 Apertus 1.0 的 8B 和 70B 模型基础上进行了扩展，新增了图像/音频理解能力、可选的思考模式（thinking mode）、上下文窗口长度提升至原来的四倍、改进的指令遵循能力以及更好的工具使用功能。更新后的 8B 和 70B 模型权重已于 2026 年 7 月 24 日在 Hugging Face 上发布，采用 Apache 2.0 许可证。更多详细信息现已在项目 技术报告中提供，并在此处进行总结。

Apertus 1.5 是对第一代模型的持续预训练：为 8B 模型增加了 4 万亿个文本和多模态训练数据 token，为 70B 模型增加了 2 万亿个 token，总训练量分别达到 19T 和 17T。与所有 Apertus 版本一样，这些模型是完全开放的：开放 权重、开放 数据、开放 价值观，并提供完整的训练 细节。

关键增强

• 原生多模态理解： Apertus 1.5 支持在文本之外同时接收图像和音频，从而将文档、图表和照片纳入对话上下文。该模型还能处理口语，尽管此功能目前仍处于实验阶段。
• 思考模式（Thinking Mode）： 模型可切换至思考模式，在回答前先对输入进行推理，从而提升解决推理问题的能力。
• 长上下文： 上下文窗口扩展至 262,144 个 token，相比 Apertus 1.0 增加了 4 倍。
• 改进的指令遵循能力： 相比 Apertus 1.0，更强的指令遵循能力带来了更可预测且更准确的响应。
• 改进的工具使用能力： 模型经过训练以更好地集成工具，从而更有效地调用外部工具和 API。
• 开放价值观： 更严格地遵循《Apertus 宪章》（Apertus Charter），提高了模型价值观和原则的透明度。

训练流程

完整的 Apertus 1.5 训练流水线

通过 Tokenizer 实现多模态

我们在 v1.5 模型中以早期融合（early-fusion）的方式引入多模态能力，即图像和音频作为离散 token 与文本 token 进入同一序列中的 Apertus，而不是使用独立的视觉编码器。图像使用 Emu3.5 tokenizer 进行 tokenize（一张 512×512 的图像变为 1,024 个 token），音频则使用 WavTokenizer（每秒 40 个 token）。我们仅扩展了词表，因此架构保持不变，训练速度也与纯文本训练相当。这些模型能够理解图像和音频，但仅生成文本输出。

预训练

从 Apertus 1.0 出发，我们分四个阶段继续预训练：

1. 非配对数据： 包含文本以及独立的图像和音频，使模型学习新的模态。
2. 配对数据： 包含图像–描述和音频–转录文本对，使其将这些模态与语言对齐。
3. 冷却阶段（Cooldown）： 使用更高质量的数据，增加数学和代码内容的比例。
4. 长上下文： 上下文窗口逐步从 8k 扩展至 262k 个 token。

总体而言，超过一半的训练 token 为纯文本数据，这保留了 Apertus 1.0 的语言能力。文本数据通过 FineWeb2-HQ+、FinePDFs 和 Nemotron-CC 等来源进行了更新。所有新数据（包括多模态数据）均符合与之前相同的标准：公开可用、采用宽松许可证，并追溯性地尊重 robots.txt 的退出选项。每个数据源均在 apertus-data-transparency 中列出。

后训练

后训练分为五个阶段：SFT → 长上下文 SFT → RL → DPO → 章程对齐 (SDPO)。

1. SFT：在 370 万条文本样本以及图像和语音数据上进行。仅针对模型在没有推理轨迹的情况下无法解决的提示添加推理轨迹。工具使用数据仅限于经过执行验证的轨迹。我们在 Hugging Face 上发布了所使用的 文本 SFT 混合数据集。
2. 长上下文 SFT：在完整的 262k 窗口上进行，以恢复因短上下文 SFT 而受损的长上下文能力。
3. 基于可验证奖励的强化学习 (RLVR)：在约 35 万个数学、代码、指令遵循、多语言和视觉提示上进行，混合开启和关闭思考模式。
4. DPO：使用由评判器评分的偏好对来提升聊天质量、工具使用和安全性。我们发布了偏好池和训练对。
5. SDPO：通过评判器反馈和自蒸馏，使模型与 Apertus 章程 保持一致。

评估结果

除了扩展模型能力外，我们还显著扩大了评估范围。除了用于 Apertus 1.0 的现有基于文本的评估外，我们还增加了多模态评估（图像和音频）以及思考模式评估。

多模态评估通过 MLLM-eval-suite 流水线完成，该流水线整合了两大主流多模态评估框架：lmms-eval 和 VLMEvalKit。我们还新增了一系列基于文本的基准测试，并扩展了对翻译和多语言能力、安全性以及工具使用能力的基准测试。这些内容可在我们的后训练 评估仓库 中找到，该仓库基于 lm-evaluation-harness fork。

尽管在整体表现上仍落后于前沿开源权重模型，但本次新版本在代码生成和指令遵循能力方面取得了显著提升。其中，Apertus 1.5 8B 在指令遵循（IF）和多语言任务上的表现优于同等规模的开源权重模型。引入思维链（Thinking）机制进一步提升了模型在 AIME 等高难度推理基准测试中的表现。该模型的多模态性能已接近 Gemma 4 12B 及其他当前主流的开源权重模型。在多模态能力方面，Apertus 1.5 在开源权重模型的空间理解能力以及开源模型的文档/图表理解能力上均具有竞争力。

我们同样感谢合作伙伴及外部评估人员在高效评估 Apertus 能力方面提供的帮助。特别值得一提的是，Apertus 1.5 在瑞士法律任务中表现出强劲的性能，与领先的开源权重模型持平（博客，代码）。此外，在 Last Translation Benchmark 上，Apertus 1.5 8B 展示的机器翻译能力可与 GPT-OSS-20B 相媲美，并超越了 Claude Haiku 4.5 或 Google Translate 等模型（排行榜，论文）。

评估卡片：Apertus ❤️ EvalEval

Apertus 与 EvalEval Coalition 合作，以确保基准测试的完全透明性和可复现性。我们按照 Every Eval Ever (EEE) 架构发布 Apertus 1.5 的结果。这是一种共享格式，不仅记录分数，还记录了谁执行了评估、如何访问模型、生成设置以及每个指标应如何解读等细节——这些细节在排行榜中通常缺失，却往往是解释为何看似相似的分数存在差异的关键原因。

结果展示在下方的评估卡（Eval Card）中，它将运行数据与基准测试及模型元数据整合为一条易于解读的记录，同时也通过 Hugging Face Community Evals 提供。这与 英国 AI 安全研究所用于公开其评估结果的同一基础设施 一致。由于我们的文本评估基于 lm-evaluation-harness 的公共分支运行，而 EEE 提供了专用的转换器支持，因此任何人都可以在相同设置下重新运行评估，并将他们的数值与我们进行对比。

结构化的评估报告在研究之外也具有重要意义。EvalEval 已 将评估卡映射到 AI 治理要求，包括《欧盟人工智能法案》第 55 条和通用目的 AI 行为准则（GPAI Code of Practice），并发现 EEE 架构能够表示这些框架所要求的 60 个评估报告要素中的 56 个。这与我们现有的 Apertus 发布方式相契合：除了模型本身，我们还发布了训练内容的 公开摘要，并自愿提供一份 行为准则 文档。机器可读的评估记录是自然的下一步：它使监管机构、部署者和研究人员更容易查找、解读和比较模型背后的证据。

我们致力于通过评估卡和 EEE 架构推动可复现且透明的评估，并鼓励其他模型开发者以相同方式报告其结果，以便在不同模型和组织之间比较分数。

Apertus 1.5 的可复现性

所有配方、消融实验和数据混合方案均记录在技术报告中。我们旨在通过公开 v1.5 的训练流程，使其易于获取，从而推动开放模型开发的普及。中间检查点托管在我们的 Apertus 1.5 Hugging Face 合集 中，包括基础权重、SFT、RLVR 和 DPO 阶段的模型，以及我们在 Apertus 1.5 数据集合集 中精心整理的训练数据混合方案/自定义数据集。共享这些资源使研究人员能够探究每个阶段如何改变模型行为。

该报告涵盖了关于后训练数据在不同阶段影响的众多消融实验。我们观察到，在 SFT 阶段将多模态数据与文本数据混合使用，有助于在所有模态上提升性能。我们还发现，多模态推理轨迹带来的收益在随后的纯文本强化学习中得以保留：从经过多模态轨迹训练的 SFT 检查点开始进行 RL，比从纯文本检查点开始更能提升数学能力，且其在推理任务上的优势在整个训练过程中持续存在。

| DPO | Apertus-v1.5-Preference-Pool（带标注的补全数据）、Apertus-v1.5-Preference-Data（偏好对） | posttraining、verl | | SDPO（章程对齐，仅 8B 模型） | gretelai/gretel-safety-alignment-en-v1 | self-distillation |

模型可用性

Proton Lumo 和 Infomaniak Euria 是两款广泛使用的应用，近期均已集成 Apertus 1.5。这些部署案例收录于 社区展示（Community Showcase） 中——更多预览信息请参阅此 讨论帖。

包括 Swisscom、Infomaniak、Phoeniqs 在内的多家服务商已宣布为开发者提供 Apertus 1.5 的 API 访问服务，其他合作伙伴详见我们的 正式发布指南（General Availability guide）。该报告还详细介绍了我们如何与外部评估机构合作，对模型进行测试与准备。

运行模型的技术说明包含在 Hugging Face 上 Apertus 发布版本的模型卡片（model cards）中，也可参阅我们的 快速入门指南（Quickstart guide）。

如何参与

感谢阅读这篇博客文章并成为我们社区的一员！我们在 Hugging Face 分析数据中刚刚庆祝了五百万次下载量 🤗，且发展势头依然强劲。在近期于苏黎世举行的 AI+X Summit 上，我们的团队公布了 Apertus 2.0 路线图：采用稀疏/MoE 架构、约 6000 亿总参数、延长训练周期，并将智能体（agents）、数学和编程作为优先发展方向。

总而言之：我们诚邀您阅读我们的报告、下载模型、探索中间检查点（intermediate checkpoints）、微调权重并复现我们的评估结果。若您的问题未在 我们的出版物 或 网站常见问题解答（FAQ） 中得到覆盖，欢迎随时提出；我们也希望了解哪些主题对社区未来的深入探讨最为有用。

如果您基于 Apertus 进行开发或使用它，请填写 展示表单（Showcase form），并通过我们 联系页面（Contact page） 上的选项与我们取得联系。我们期待展示更多成果，了解您的构建内容，并听取关于如何改进 Apertus 的建议！

引用

Project Apertus 等. “Apertus 1.5：从开放文本模型到开放多模态推理器.” arXiv.15542. 预印本, arXiv, 2026 年 10 月 11 日. https://doi.org/10.48550/arXiv.2610.15542.

@misc{apertus2026apertus15opentext,
      title={Apertus 1.5: From Open Text Models to Open Multimodal Reasoners},

author={Project Apertus and Yixuan Xu and Yassine Turki and Vinko Sabolčec and Valentina Pyatkin and Tommy Chu and Sven Najem-Meyer and Sean F. Carroll and Robert Smith and Raphael Kreft and Oscar Alessandro Tazza and Oleg Lavrovsky and Nicola Irmiger and Matteo Santelmo and Marian Schneider and Juan García Giraldo and Hanna Yukhymenko and Eduard Ďurech and Davit Melikidze and Dani Tamayo and Bettina Messmer and Aryan Ahadinia and Anunay Yadav and Allen Huang and Ahmad Fraij and Alessandro Bombarda and Alex Padula and Alexander Hägele and Alexander Sternfeld and Anna Hedström and Anna Kosovskaia and Arthur Wuhrmann and Arundhati Balasubramaniam and Badr Al Mahouri and Barna Pasztor and Bartosz Szostakiewicz and Bich Ngoc Doan and Bryan Schmid and Burak Sezen and Camille Challier and Clément Charmillot and Dana Shayakhmetova and Daniel Perruchoud and David Brüggemann and David Isztl and Elia Palme and Emma Anastassova and Fabian Bösch and Faruk Zahiragić and Fawzi Roberto Mohamed and Fiona Panicali and Florian Kolly and Flynn Guerra and Francesco Monti and Frederike Lübeck and Gennaro Oliva and Haofeng Yang and Haoliang Shang and Helen El Khoury and Henrique Mendonça and Jannis Vamvas and Jérome Landolt and Jessica Lam and Jingchun Xiao and Jonathan Coles and Joshua Oyebanji and Khanh Nguyen and Konstantinos Pitas and Lasse B. Strand and Li Mi and Loïc Deslarzes and Lorenzo Baggi and Lorenzo Noci and Luca Baumann and Luca Sartori and Lukas Drescher and Marco De Negri and Marco Passerini and Mark Klein and Marko Stojanovic and Martin Majsec and Matin Ansaripour and Mattea Busato and Mauro Pellonara and Max Neuwinger and Michael Graber and Michal Tešnar and Michelle Wastl and Miguel Gila and Mikolaj Boronski and Morgane Magnin and Moritz Reihs and Mukhammadali Sayfiddinov and Nathan Ranchin and Nicolas Cuveillier and Oscar Wohlfahrt and Qianqian Zou and Rada Kamysheva and Rita Sevastjanova and Roman Machacek and Sebastian Keller and Simon Matrenok and Simon Pierre and Stefano Schuppli and Suei-Wen Chen and Szabina Horváth-Mikulas and Taliesin Perez and Thilo Spinner and Thomas Kleine Buening and Tim Robinson and Tymoteusz Kwiecinski and Vilém Zouhar and Vinzenz Thoma and Xiaozhe Yao and Yannick Metz and Yuhei Fukuhara and Yusif Askari and Zixuan Chen and Alexander Ilic and Ana Klimovic and Andreas Krause and Andrei Kucharavy and Elliott Ash and Joost VandeVondele and Martin Rajman and Mennatallah El-Assady and Thomas Schulthess and Timo Kehrer and Torst

en Hoefler 和 Antoine Bosselut 和 Martin Jaggi 和 Imanol Schlag},

year={2026},
      eprint={2610.15542},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2610.15542}, 
}