Zeroth-Order (ZO) methods

新研究详细介绍了深度学习中零阶优化的稳定性

一篇新的研究论文探讨了零阶（ZO）优化方法的稳定性动态，特别是在深度学习的背景下。该研究确定了一个控制这些方法线性稳定性的特定步长条件，并将其与一阶（FO）方法进行了对比。与受最大Hessian特征值影响的FO方法不同，ZO方法的稳定性取决于整个Hessian谱。研究还提出了基于最大特征值和Hessian迹的可行稳定性界限，发现全批量ZO方法在深度学习任务中运行在稳定性的边缘。