River-Valley Loss Landscape

研究探讨动量在大型语言模型损失景观优化中的作用

一篇新的研究论文探讨了大型语言模型中损失景观的“河谷”结构，提出动量加速在优化这些复杂环境中起着至关重要的作用。研究表明，动量有助于稳定较大的学习率，从而在景观中的“河流”低损失流形上实现更快的进展。这种理论分析旨在解释某些学习率调度器（如Warmup-stable-decay）的有效性，这些调度器在衰减学习率之前保持较高的学习率，这与Cosine Scheduling等方法形成对比。