Unit Excitation

新框架提供超越单位激励的随机鞍点规避

一篇新的研究论文介绍了一种用于随机鞍点规避的路径李亚普诺夫-珀龙框架，超越了传统的单位激励假设。该框架解决了噪声在接近平稳点时减弱或存在于低维子空间中的情况，这在过参数化模型和有限和问题中很常见。所提出的方法利用了路径相关的变量替换和路径李亚普诺夫-珀龙策略，以证明几乎确定地规避了严格鞍点，从而实现了随机镜面下降（包括SGD）和近端型随机梯度方法等方法的局部最小值收敛。