PulseAugur
中
实时 14:34:13
English(EN) WSqD: A Horizon-Free Learning Rate Schedule for Large Model Training

新的WSqD学习率调度器为大模型训练提供无视界训练

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员推出了一种新颖的学习率调度器WSqD，专为大模型训练设计，且不依赖于训练视界。与余弦退火和Warmup-stable-decay (WSD) 等现有方法不同，WSqD的基础调度器不需要预先确定的训练时长，从而可以灵活地延长训练。这种受随机凸优化启发的方​​法，理论上可以达到最优收敛率，并且在SlimPajama语料库的语言模型预训练任务上，实证表明其性能可与基线相媲美或超越。 AI

影响 这种无视界学习率调度器可以简化和提高大语言模型训练的效率。

排序理由 该集群包含一篇详细介绍大模型训练新方法的学术论文。

在 arXiv stat.ML 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新的WSqD学习率调度器为大模型训练提供无视界训练

报道来源 [2]

  1. arXiv stat.ML TIER_1 English(EN) · Jianhao Ma, Yuxin Chen ·

    WSqD：大型模型训练的无视界学习率调度器

    arXiv:2607.10959v1 Announce Type: cross Abstract: Standard learning rate schedules such as cosine annealing are tied to a fixed training horizon, limiting their ability to accommodate post hoc horizon extension. Warmup-stable-decay (WSD) partially addresses this issue by maintain…

  2. arXiv stat.ML TIER_1 English(EN) · Yuxin Chen ·

    WSqD：大型模型训练的无视界学习率调度器

    Standard learning rate schedules such as cosine annealing are tied to a fixed training horizon, limiting their ability to accommodate post hoc horizon extension. Warmup-stable-decay (WSD) partially addresses this issue by maintaining a long constant-rate phase before a short line…

相关话题