KSLM

新算法加速求解大规模非线性最小二乘问题

研究人员开发了一种新的自适应混合子空间Levenberg-Marquardt（HSLM）算法，旨在高效求解大规模非线性最小二乘问题。该方法利用包括梯度和曲率数据在内的各种信息源构建低维子空间，以计算阻尼LM步。一项关键创新是充分性监视器，它能在需要时自适应地丰富子空间，以及一种使用Armijo回溯解耦的步长接受策略。在神经网络训练问题上的数值实验表明，HSLM在计算成本显著降低的情况下，尤其是在高参数维度问题上，实现了与现有方法相当的收敛性。