研究人员在深度学习中发现了一种现象，即基于梯度的优化器在理论预测的不稳定阈值之上保持稳定的Hessian特征值。这种偏差，观察到高达预测边界的21.1倍，是系统性的，并且取决于所使用的特定优化器。该研究提出了一种基于方向Hessian和梯度对齐得分的稳定性阈值的新表述，该表述考虑了优化器的实际更新，并提供了新的诊断工具来理解其在优化过程中平衡时间和空间预算中的作用。 AI
影响 深化对优化动力学的理解，可能导致更稳定、更高效的深度学习模型训练。
排序理由 学术论文，详细阐述了深度学习中优化器稳定性的新理论表述。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- directional Hessian
- gradient-alignment score
- gradient descent
- Hessian
- Hugging Face
- learning rate
- Optimizer
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
