实体
Cosine Scheduling
Cosine Scheduling
PulseAugur coverage of Cosine Scheduling — every cluster mentioning Cosine Scheduling across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
研究探讨动量在大型语言模型损失景观优化中的作用
一篇新的研究论文探讨了大型语言模型中损失景观的“河谷”结构，提出动量加速在优化这些复杂环境中起着至关重要的作用。研究表明，动量有助于稳定较大的学习率，从而在景观中的“河流”低损失流形上实现更快的进展。这种理论分析旨在解释某些学习率调度器（如Warmup-stable-decay）的有效性，这些调度器在衰减学习率之前保持较高的学习率，这与Cosine Scheduling等方法形成对比。
-
PyTorch 管道使用 Gin Config 实现灵活的 ML 模型训练
本教程演示了如何使用 gin-config 库构建一个可配置的 PyTorch 管道。该方法将稳定的训练代码与实验参数分开，实验参数在声明式配置文件中进行管理。它详细介绍了创建一个非线性螺旋二分类任务，定义一个具有架构变体的灵活多层感知器（MLP），并通过 gin.configurable 绑定公开优化器、调度器和损失函数的参数。本教程还涵盖了使用 Gin 的作用域引用进行不同的模型配置，以及运行时绑定进行参数覆盖而不修改代码，确保为…