研究人员开发了一种在大型语言模型（LLM）训练过程中调度高质量数据的新方法，以解决此类数据稀缺的问题。该方法称为 Drop-Stable-Rampup，将函数缩放定律扩展到包含数据质量，揭示了两种不同的数据利用模式。在噪声限制的模式下，高质量数据通过减小批次大小充当信号放大器；而在信号限制的模式下，它通过后期放置充当噪声抑制器。在 15B 专家混合模型上的实验表明，与现有方法相比，准确性有了显著提高，尤其是在数学推理任务方面。 AI
影响 优化了大型语言模型训练中稀缺的高质量数据的使用，有望带来更准确的模型，尤其是在复杂的推理任务方面。
排序理由 该集群包含一篇详细介绍大型语言模型训练新方法的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2605.25698v1 Announce Type: cross Abstract: High-quality data is scarce in large language model (LLM) training, yet how to schedule its use jointly with training dynamics lacks theoretical guidance. We extend functional scaling laws by incorporating a data-quality dimension…
High-quality data is scarce in large language model (LLM) training, yet how to schedule its use jointly with training dynamics lacks theoretical guidance. We extend functional scaling laws by incorporating a data-quality dimension, and solve the joint data-quality and batch-size …