Polyak

对大批量机器学习训练中的 Polyak 和 Nesterov 动量方法进行分析

一篇新的研究论文探讨了动量对机器学习模型大批量训练的影响。该研究通过定义一个用于稳定训练的临界学习率来表征风险稳定性，并为 SGD、Polyak 和 Nesterov 动量方法推导了特定公式。研究结果揭示了动量在不同批量大小下的作用如何变化，表明 Polyak 方法在不损失数据效率的情况下增加了临界批量大小以实现更好的并行性，而 Nesterov 方法则减少了噪声累积，从而在处理大批量场景时提高了数据效率。