研究人员开发了一种新的自适应混合子空间Levenberg-Marquardt(HSLM)算法,旨在高效求解大规模非线性最小二乘问题。该方法利用包括梯度和曲率数据在内的各种信息源构建低维子空间,以计算阻尼LM步。一项关键创新是充分性监视器,它能在需要时自适应地丰富子空间,以及一种使用Armijo回溯解耦的步长接受策略。在神经网络训练问题上的数值实验表明,HSLM在计算成本显著降低的情况下,尤其是在高参数维度问题上,实现了与现有方法相当的收敛性。 AI
影响 通过提高优化效率,可能加速大型神经网络的训练。
排序理由 详细介绍新数值算法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →