directional Hessian

新理论重塑深度学习中的优化器稳定性

研究人员在深度学习中发现了一种现象，即基于梯度的优化器在理论预测的不稳定阈值之上保持稳定的Hessian特征值。这种偏差，观察到高达预测边界的21.1倍，是系统性的，并且取决于所使用的特定优化器。该研究提出了一种基于方向Hessian和梯度对齐得分的稳定性阈值的新表述，该表述考虑了优化器的实际更新，并提供了新的诊断工具来理解其在优化过程中平衡时间和空间预算中的作用。