Lyapunov-IQC

新框架统一Lyapunov-IQC以实现加速优化器稳定性

研究人员开发了一个新的框架，使用Lyapunov函数和积分二次约束（IQC）来分析加速一阶优化算法的统一稳定性。该方法将先前关于随机梯度下降（SGD）的工作扩展到Nesterov加速梯度（NAG）等方法，这些方法由于动量动力学而更加复杂。该框架将优化器建模为反馈互连，并使用可通过半定规划（SDP）求解的线性矩阵不等式（LMIs）来认证稳定性，为验证优化算法提供了一种模块化方法。