Compute-Data (CD) scaling laws

新的CD缩放定律弥合了LLM预训练中的计算和数据限制

研究人员引入了新的缩放定律，称为计算-数据（CD）缩放定律，它为预训练大型语言模型提供了一个统一的框架。这些定律弥合了计算最优缩放（数据丰富）和数据最优缩放（数据集固定）之间的差距。该框架包含一个令牌有效性函数，该函数量化了派生令牌相对于新令牌的价值，并考虑了多周期重复和释义等因素。该函数表明，令牌有效性不是恒定的，而是取决于模型大小、令牌与参数的比例以及派生数据的量，这表明在大多数实际场景中，经典的计算最优分配都不是最优的。