实体 WSqD

WSqD

PulseAugur coverage of WSqD — every cluster mentioning WSqD across labs, papers, and developer communities, ranked by signal.

总计 · 30天

0

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 1

层级分布 · 90 天

主题

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_141050 · Jul 12 · 23:24

新的WSqD学习率调度器为大模型训练提供无视界训练

研究人员推出了一种新颖的学习率调度器WSqD，专为大模型训练设计，且不依赖于训练视界。与余弦退火和Warmup-stable-decay (WSD) 等现有方法不同，WSqD的基础调度器不需要预先确定的训练时长，从而可以灵活地延长训练。这种受随机凸优化启发的方法，理论上可以达到最优收敛率，并且在SlimPajama语料库的语言模型预训练任务上，实证表明其性能可与基线相媲美或超越。