实体
cosine annealing
cosine annealing
PulseAugur coverage of cosine annealing — every cluster mentioning cosine annealing across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
新的WSqD学习率调度器为大模型训练提供无视界训练
研究人员推出了一种新颖的学习率调度器WSqD，专为大模型训练设计，且不依赖于训练视界。与余弦退火和Warmup-stable-decay (WSD) 等现有方法不同，WSqD的基础调度器不需要预先确定的训练时长，从而可以灵活地延长训练。这种受随机凸优化启发的方法，理论上可以达到最优收敛率，并且在SlimPajama语料库的语言模型预训练任务上，实证表明其性能可与基线相媲美或超越。
-
新的 CWGD 方法改进了深度学习的优化噪声测量
研究人员开发了一种名为曲率加权梯度多样性 (CWGD) 的新方法，以更好地测量深度学习模型中的优化噪声。与传统上同等对待所有参数方向的方法不同，CWGD 考虑了高曲率方向的噪声影响较小的这一事实。通过用 Hessian 的平方根的倒数来加权梯度多样性，CWGD 为有效的优化噪声提供了更准确的代理。与标准的余弦退火相比，CWGD 调制的余弦学习率计划 CWGD-Cosine 已显示出将最终优化误差降低高达 20% 的潜力，而开销可忽略不计。
-
新的Transformer模型通过数据增强增强股指预测能力
研究人员开发了一种新的基于Transformer的单步股指预测架构，解决了金融时间序列中噪声信号和分布变化等挑战。所提出的框架结合了先进的学习率调度，特别是带预热的余弦退火，以及一种新颖的移位数据增强（SDA）技术。在VN30和S&P 500数据集上的实验表明，SDA显著降低了预测误差并提高了鲁棒性，优于增加模型复杂度的方法。