Online Data Mixing

新的大语言模型训练方法优化数据调度以提高效率和性能

研究人员开发了通过先进数据调度技术优化大语言模型（LLM）训练的新方法。一种方法是整体数据调度器（HDS），它使用多目标强化学习在预训练期间动态调整数据混合，从而在 The Pile 和 MMLU 等基准测试中显著提高训练效率和模型性能。另一种方法是自适应数据调度（ADS），它通过从统一数据采样转向语义集群和策略边界样本的自适应分布，专注于改进训练后强化学习，在推理基准测试中显示出优势。此外，一种使用精选数据集和最小 GRPO 设置的…