Apple Machine Learning ResearchT1·68 分
数据受限场景下双语预训练优于超参搜索：混合高资源语言显著提升低资源模型泛化能力
原标题：Mix, Don't Tune: Bilingual Pre-Training Outperforms Hyperparameter Search in Data-Constrained Settings
- 在数据重复率高、易过拟合的低资源场景下，数据混合带来的分布扩展效应优于权重衰减等正则化手段。
- 随着模型参数规模从 150M 增至 1.43B，数据混合相对于超参调优的性能优势差距进一步扩大。
- 实用建议包括：优先调整混合比例、利用 μP 从小代理模型迁移超参数，而非盲目搜索大规模超参空间。