Dolma-3 corpus

新的CD缩放定律解决AI预训练中的计算-数据不平衡问题

研究人员引入了计算-数据（CD）缩放定律，这是一个新的框架，解决了可用计算资源与高质量预训练数据之间日益增长的不平衡问题。该框架通过纳入一个量化来自多周期重复或释义等方法的数据价值的代币有效性函数来扩展现有的缩放定律。研究发现，代币有效性并非恒定不变，而是随模型大小、数据扩展策略和派生数据量的变化而变化，这表明用数据替代计算会带来收益递减。