实体
Compute-Data (CD) scaling laws
Compute-Data (CD) scaling laws
PulseAugur coverage of Compute-Data (CD) scaling laws — every cluster mentioning Compute-Data (CD) scaling laws across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的CD缩放定律弥合了LLM预训练中的计算和数据限制
研究人员引入了新的缩放定律，称为计算-数据（CD）缩放定律，它为预训练大型语言模型提供了一个统一的框架。这些定律弥合了计算最优缩放（数据丰富）和数据最优缩放（数据集固定）之间的差距。该框架包含一个令牌有效性函数，该函数量化了派生令牌相对于新令牌的价值，并考虑了多周期重复和释义等因素。该函数表明，令牌有效性不是恒定的，而是取决于模型大小、令牌与参数的比例以及派生数据的量，这表明在大多数实际场景中，经典的计算最优分配都不是最优的。
-
新的CD缩放定律解决AI预训练中的计算-数据不平衡问题
研究人员引入了计算-数据（CD）缩放定律，这是一个新的框架，解决了可用计算资源与高质量预训练数据之间日益增长的不平衡问题。该框架通过纳入一个量化来自多周期重复或释义等方法的数据价值的代币有效性函数来扩展现有的缩放定律。研究发现，代币有效性并非恒定不变，而是随模型大小、数据扩展策略和派生数据量的变化而变化，这表明用数据替代计算会带来收益递减。