PulseAugur
中
实时 14:16:53

预训练数据决定LLM的缩放定律，研究发现

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员发现，预训练数据是大型语言模型中损失到损失缩放定律的主要决定因素。他们的实验表明，模型大小、优化超参数，甚至Transformer和状态空间模型之间的架构差异等因素对这些缩放趋势的影响有限。研究结果表明，精心策划的预训练数据集对于优化下游性能至关重要，而其他模型配置可以针对训练效率进行调整。 AI

影响 强调了预训练数据在LLM性能中的关键作用，指导未来的研究和开发工作。

排序理由 学术论文，详细介绍LLM缩放定律的研究发现。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Prasanna Mayilvahanan, Thadd\"aus Wiedemer, Sayak Mallick, Matthias Bethge, Wieland Brendel ·

    LLMs on the Line: Data Determines Loss-to-Loss Scaling Laws

    arXiv:2502.12120v3 Announce Type: replace-cross Abstract: Scaling laws guide the development of large language models (LLMs) by offering estimates for the optimal balance of model size, tokens, and compute. More recently, loss-to-loss scaling laws that relate losses across pretra…

相关实体

相关话题