Drop-Stable-Rampup

新的大型语言模型训练方法优化高质量数据使用

研究人员开发了一种在大型语言模型（LLM）训练过程中调度高质量数据的新方法，以解决此类数据稀缺的问题。该方法称为 Drop-Stable-Rampup，将函数缩放定律扩展到包含数据质量，揭示了两种不同的数据利用模式。在噪声限制的模式下，高质量数据通过减小批次大小充当信号放大器；而在信号限制的模式下，它通过后期放置充当噪声抑制器。在 15B 专家混合模型上的实验表明，与现有方法相比，准确性有了显著提高，尤其是在数学推理任务方面。