ATLAS 提出多语言模型自适应缩放定律
ICLR 2026 论文 ATLAS 发布了迄今最大规模的多语言预训练研究,涵盖 774 次训练运行及 400+ 种语言。该研究提出了“自适应迁移缩放定律”,量化了 1400 对语言间的协同效应,为构建非英语主导或混合语言模型提供了数据驱动的效率与成本指导。
报道正文
本文目录7 个章节
超过 50% 的 AI 模型用户使用非英语语言,然而公开可获取的 scaling laws(缩放定律)绝大多数都聚焦于英语。这种不平衡在公共研究中造成了一个关键缺口,使得那些致力于服务数十亿国际及多语言用户的模型构建者,在为非英语语言或特定语言混合比例进行开发时,缺乏关于效率、质量和成本等关键决策的数据驱动指导。
在将于 ICLR 2026 上发表的论文 “ATLAS: Adaptive Transfer Scaling Laws for Multilingual Pretraining, Finetuning, and Decoding the Curse of Multilinguality” 中,我们旨在填补这一空白。我们展示了迄今为止规模最大的公开多语言预训练研究,涵盖 10M–8B 参数模型的 774 次训练运行。该研究包含覆盖 400+ 种语言的数据,并在 48 种语言上进行了评估。基于这项研究,我们估算了 1,400 对语言之间的协同效应,并提出了自适应迁移缩放定律(ATLAS),帮助从业者高效地平衡训练数据中的语言混合比例与模型规模,从而构建多语言模型。
ATLAS:一种适应多语言混合比例的单一缩放定律
ATLAS 是一种简单且实用的方法,用于确定训练时的最佳模型大小、数据量和语言混合比例。与传统聚焦于单语环境的缩放定律不同,ATLAS 为更复杂的多语言环境提供了这些建议。它通过利用来自多种不同语言的数据,专门优化目标语言(例如加泰罗尼亚语)的性能。ATLAS 通过以下三个组件扩展了传统的缩放定律原则:
- 一个跨语言迁移矩阵,用于识别哪些语言最适合一起训练
- 一条缩放定律,指导随着支持语言数量的增加,如何高效地扩展模型大小和数据量
- 一套规则,用于决定何时从头开始预训练模型, versus 从多语言检查点(checkpoint)进行微调
ATLAS 通过训练数百项多语言实验(使用包含 400 多种语言的 MADLAD-400 语料库,运行超过 750 次)并考虑三种不同的数据来源来实现这一目标:1) 目标语言;2) 根据实证分析确定的相似迁移语言(例如,加泰罗尼亚语可能包括西班牙语、葡萄牙语和意大利语等拉丁语系语言);以及 3) 所有其他语言。这种新颖的方法使得该定律能够学习每个来源实际上在多大程度上帮助或阻碍了目标语言,这是以往定律所不具备的能力。
评估
我们使用 MADLAD-400 数据集来评估 ATLAS 在预测模型性能方面的表现,测试场景涵盖新的模型规模、不同数量的训练数据 , 或新的语言混合比例 。 为此,我们在单语、双语和大规模多语言设置下的 750 多次独立运行中,使用 词汇不敏感损失 来衡量性能。我们的评估表明,ATLAS 始终优于以往的工作。
针对六种语言——英语 (EN)、法语 (FR)、俄语 (RU)、中文 (ZH)、印地语 (HI) 和斯瓦希里语 (SW)——我们分析了 ATLAS 如何预测最优模型大小 (N) 和数据大小 (D) 的缩放方式。当我们在不同语言之间比较这些最优缩放轨迹时,得出了两个观察结果。曲线看起来惊人地相似,但使用多语言词汇表或完全多语言数据进行训练会带来计算效率税——尤其是对于英语而言。低资源语言在数据耗尽时会显示出向上弯曲的趋势,且模型难以从数据重复中学习。ATLAS 明确建模了这些效应。
跨语言迁移图谱
接下来,我们大规模测量了语言之间的协同作用和干扰,生成了一个量化矩阵,用于说明在语言 A 上的训练在多大程度上帮助(或损害)语言 B。我们的结果显示了非常直观的结果:挪威语主要受益于瑞典语和德语,马来语受益于印尼语,阿拉伯语受益于希伯来语。英语、法语和西班牙语是最广泛有益的训练语言,这可能是因为网络上这些语言的文本具有固有的高质量、异质性和数量优势。
分析表明,正向迁移的最大预测因子是共享文字系统或语系(例如拉丁字母),其统计显著性达到 p < .001。英语对许多语言有帮助,但并非全部;且迁移并不总是对称的(A 对 B 的帮助可能大于 B 对 A 的帮助)。这些测量结果将“直觉”转化为数据驱动的语言混合选择。
用清晰的缩放规则解码“多语言诅咒”
“多语言诅咒”是一种现象,即在多种语言上训练的模型由于模型容量有限,每增加一种新语言,性能就会下降。我们通过一个缩放定律来形式化这一问题,该定律不仅考虑了模型大小 (N) 和训练数据量 (D),还考虑了数据中语言的数量 (K)。将该定律拟合到大量实验中,我们发现虽然增加语言会带来轻微的容量税,但也存在高度的正向迁移。这意味着,如果我们希望训练一个支持两倍数量语言 (2·K) 的模型,则应将模型大小增加 1.18 倍,并将总数据量增加 1.66 倍。这相当于在 2K 种语言中每种语言保留 83% 的数据。尽管每种语言的数据量减少了,但从所有语言中学习带来的正向协同效应抵消了导致性能下降的容量约束。
何时预训练与微调多语言检查点
针对十种语言,我们比较了两条获得最佳性能模型的路径:(a) 在目标语言上从头开始预训练,或 (b) 从强大的多语言 “Unimax” 检查点进行微调。选项 (b) 很可能以最小的额外计算成本实现最佳性能,因为模型已经在跨语言任务上表现相当强劲。然而,如果模型可以训练更长时间,那么选项 (a) 往往能带来更好的长期结果。我们的目标是基于模型构建者可用的计算资源,找到两条训练曲线之间的交叉点。
我们的结果表明,微调在早期阶段更具优势,但一旦你有足够的 token 预算,从头预训练就会反超。在我们的实验中,对于参数量为 2B 的模型,这一交叉点通常出现在约 144B 到 283B tokens 之间(具体数值取决于语言)。接下来,我们将交叉点绘制为模型大小的函数。这提供了一个具体的、考虑预算的经验法则:如果你的 token 和计算预算低于该模型大小对应的交叉点,请从多语言检查点开始;否则,从头预训练通常会更快完成。请注意,确切阈值取决于基础模型和数据混合比例。
亲自尝试
通过超越以英语为中心的扩展方式,ATLAS 为全球模型开发者提供了路线图。它可以帮助开发者直接将语言模型扩展到英语之外:
- 计划训练新的多语言或非英语模型? 使用论文中的图 1 或表 C.1,根据词汇量或训练选择了解潜在的缩放定律。
- 选择新的训练数据混合比例? 参考迁移矩阵(图 2),挑选那些经验上有助于目标语言的源语言——尤其是那些共享相同文字系统/语系的语言。
- 用更多语言训练新模型? 查阅第 5 节,确定如何最有效地扩展模型规模和数据规模,以缓解“多语言诅咒”的影响。
- 受计算资源限制? 查阅第 6 节,决定是微调一个多语言模型还是从头进行预训练。
我们希望这项工作能够催生新一代多语言模型,服务于数十亿非英语使用者。
致谢
感谢 Luke Zettlemoyer、Catherine Arnett 和 Stella Biderman 就本文进行的有益讨论。感谢 Biao Zhang 和 Xavier Garcia 在早期研究方向上的技术讨论与反馈。