PulseAugur
中
实时 05:52:27
实体 Anytime Pretraining

Anytime Pretraining

PulseAugur coverage of Anytime Pretraining — every cluster mentioning Anytime Pretraining across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_218848 ·

    Anytime Pretraining 采用无视界 LLM 训练和权重平均

    研究人员推出了一种新颖的大型语言模型训练方法“Anytime Pretraining”，该方法无需预定义训练视界。该方法结合了无视界学习率调度和权重平均，在最终损失方面与传统的余弦衰减调度相当。研究结果表明，这种随时可用的策略为大型语言模型预训练提供了一种实用且有效的方法，尤其是在开放式训练场景中。