实体
Armijo backtracking
Armijo backtracking
PulseAugur coverage of Armijo backtracking — every cluster mentioning Armijo backtracking across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新算法加速求解大规模非线性最小二乘问题
研究人员开发了一种新的自适应混合子空间Levenberg-Marquardt（HSLM）算法，旨在高效求解大规模非线性最小二乘问题。该方法利用包括梯度和曲率数据在内的各种信息源构建低维子空间，以计算阻尼LM步。一项关键创新是充分性监视器，它能在需要时自适应地丰富子空间，以及一种使用Armijo回溯解耦的步长接受策略。在神经网络训练问题上的数值实验表明，HSLM在计算成本显著降低的情况下，尤其是在高参数维度问题上，实现了与现有方法相当的收敛性。
-
新方法探测神经网络损失锐度以实现稳定的学习率
研究人员开发了一种新方法来估计神经网络中损失函数的局部锐度，这是稳定梯度步骤的关键因素。通过分析Armijo回溯线搜索期间接受的步长，他们可以推导出一种低成本的Hessian特征值探测器。该探测器在初始化期间使用一次，可提供一个学习率保护器，使Adam和AdamW等优化器在各种值和架构上都能抵御过大的初始学习率。