PulseAugur
中
实时 08:11:33
实体 Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior

Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior

PulseAugur coverage of Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior — every cluster mentioning Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_273324 ·

    合成预预训练在规模化中提升LLM效率,但并非通过语法

    一篇新近发表在arXiv上的研究,探讨了合成预预训练(PPT)在更大规模下对语言模型的有效性。研究发现,即使模型参数高达70亿,训练预算达到1000亿token,使用合成非自然语言数据的PPT仍能在token效率和下游性能方面提供益处。与之前的假设相反,研究表明这些收益并非主要来自学习到的语法先验,而是源于改进的远程检索能力。PPT的益处在各种训练数据混合中保持稳健,仅在完全没有网络文本时才会减弱。