VRAdam

物理启发的优化器在稳定性极限之外展现周期二轨道

研究人员探索了用于深度学习的物理启发的优化器，重点关注它们在稳定性极限之外的行为。他们识别出周期二轨道，如果优化器的弹性在特定范围内，则可以维持稳定性。研究还发现，延迟不稳定性，类似于Neishtadt的慢扫描分岔理论，可以准确描述神经网络中的动力学。在MLP和ResNet上的实验支持了这些理论发现，表明匹配有效学习率可以复制一些观察到的好处。