tokens-per-parameter ratio

LLM预训练：领域数据重复的最佳次数与验证损失相关

一篇新的研究论文探讨了在大型语言模型（LLM）预训练过程中，领域特定数据的最佳重复次数。研究发现，随着模型规模的扩大和对更大训练代币预算的需求，高质量领域数据的最佳重复次数会随着模型尺寸的增加而略有增加，这与预期相反。这个最佳重复次数与领域最终验证损失的相关性比与可用唯一数据的量更强。研究结果表明，在较小模型上调整的重复策略可以作为较大模型的实际估计。