Jes Frellsen

苹果研究：双语预训练在超参数调优方面提升LLM性能

来自Apple Machine Learning Research和丹麦技术大学的研究人员发现，将来自高资源语言（如英语）的数据与低资源目标语言（如阿拉伯语）混合，可以显著提高模型性能。这种双语预训练方法被证明比激进的超参数调优更有效，尤其是在模型规模增加的情况下。这项研究涉及了约1000次不同模型规模的预训练运行，表明数据混合在验证损失方面提供了相当于2-3倍的独特目标数据的好处，在下游任务准确性方面则提供了2-13倍的好处。