研究人员引入了曲率缩放的锐度感知最小化(CS-SAM),这是一种旨在提高深度神经网络训练收敛性的新颖方法。与传统的SAM不同,CS-SAM不需要严格的光滑性假设,在广义光滑条件下分析扰动效应。所提出的方法统一界定了失真,并实现了非凸目标的确定性收敛速率以及Polyak-Lojasiewicz条件下的线性收敛。在计算机视觉任务上的实验结果表明,CS-SAM具有竞争力且测试精度高。 AI
影响 引入了一种新的优化技术,可以提高深度学习模型训练的效率和有效性。
排序理由 介绍深度学习新优化方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- CS-SAM
- Curvature-Scaled SAM
- Polyak-Lojasiewicz
- Sam
- Sharpness aware minimization
- Universite des Sciences Appliquée et Management
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →