subspace LM

Subspace Levenberg-Marquardt 算法在神经网络训练中的评估

研究人员评估了子空间 Levenberg-Marquardt 算法在回归和分类任务中训练神经网络的性能。这些子空间方法，包括 Krylov 子空间 LM 和混合子空间 LM，旨在提高二阶算法在大规模神经网络上的效率。该研究将这些子空间 LM 变体与传统的 LM 算法以及 SGD 和 Adam 等流行的第一阶方法进行了性能比较。