Apple Machine Learning Research · 2026/10/13 08:00:00
数据受限场景下双语预训练优于超参搜索：混合高资源语言显著提升低资源模型泛化能力
研究表明，在数据稀缺的低资源语言预训练中，引入高资源辅助语言进行数据混合比激进调优超参数更能提升模型性能。该结论基于阿拉伯语与英语的跨规模实验（150M至1.43B参数），发现混合比例带来的增益随模型规模扩大而显著增加。建议优先优化数据混合策略而非单纯依赖正则化手段。
报道全文原始报道全文
对于世界上大多数语言而言，语言模型的预训练处于数据受限状态，模型必须多次重复其训练数据，这会损害泛化能力。目前存在两种补救措施：一是激进的超参数调优（例如较高的权重衰减），二是混入高资源辅助语言的数据，以直接帮助低资源的目标语言。虽然超参数调优通过收缩权重来限制网络容量从而对模型进行正则化，但辅助数据混合则利用可调的混合比例来扩展训练分布，并通过新知识使训练信号多样化。两者都为在数据受限领域改进训练提供了有原则的方法。我们在 150M 到 1.43B 参数的四个模型规模上系统比较了这些手段，以阿拉伯语作为低资源目标语言，英语作为辅助语言，进行了约 1000 次预训练实验。研究得出三个主要发现。首先，在验证损失和下游任务准确率方面，数据混合带来的提升均大于超参数调优，且随着模型规模的增大，这一差距也在扩大。其次，我们量化了混合带来的具体收益：在验证损失方面，混合带来的性能提升相当于增加了 2–3 倍的独特目标数据；在下游任务准确率方面，这一等效增益为 2–13 倍，且该增益随模型规模呈陡峭增长趋势。第三，这种差异表明，目标语言的验证损失系统性低估了数据混合的价值。混合通过使训练信号多样化起到正则化作用，并贡献了重复的目标语料库无法提供的知识；而验证损失仅捕捉到了前者。我们的实践建议是：混入一种高资源语言，优先调整混合比例而非超参数，并通过 μP 从小型代理模型迁移超参数。
- † DTU
- ‡ 共同资深作者
- ** 工作完成于 Apple 期间