PulseAugur
中
实时 21:45:01
English(EN) Bridging Compute- and Data-Optimal Pretraining

新的CD缩放定律解决AI预训练中的计算-数据不平衡问题

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员引入了计算-数据（CD）缩放定律，这是一个新的框架，解决了可用计算资源与高质量预训练数据之间日益增长的不平衡问题。该框架通过纳入一个量化来自多周期重复或释义等方法的数据价值的代币有效性函数来扩展现有的缩放定律。研究发现，代币有效性并非恒定不变，而是随模型大小、数据扩展策略和派生数据量的变化而变化，这表明用数据替代计算会带来收益递减。 AI

影响 这项研究通过优化可用数据和计算资源的利用，可能带来更高效的AI模型预训练。

排序理由 该集群包含一篇详细介绍新研究成果的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 Hugging Face Daily Papers 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的CD缩放定律解决AI预训练中的计算-数据不平衡问题

本文如何被排名

Signal score
0 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
该集群包含一篇详细介绍新研究成果的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
paper, infra
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
98 days old
Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [1]

  1. Hugging Face Daily Papers TIER_1 English(EN) ·

    连接计算最优和数据最优的预训练

    Classical compute-optimal scaling laws assume an unbounded supply of fresh pretraining data, yet pretraining is increasingly entering a regime in which compute grows faster than the availability of high-quality data. We propose Compute-Data (CD) scaling laws, a unified framework …

相关话题