Rošča

研究人员详细介绍了改进的动量梯度下降损失

研究人员发布了对 Polyak 重球动量梯度下降算法的细粒度分析。该研究证明，在某些条件下，该算法表现得像具有改进损失函数的普通梯度下降。这种改进的损失虽然没有封闭形式的表达式，但可以任意有限阶进行近似，从而提供严格的轨迹近似界限。分析还揭示了算法组合中与欧拉多项式和那拉扬多项式相关的一系列多项式，为理解其机制提供了新的见解，并为分析其他优化算法提供了潜在的路线图。