CS-SAM

新的CS-SAM方法提高了深度神经网络训练的收敛性

研究人员引入了曲率缩放的锐度感知最小化（CS-SAM），这是一种旨在提高深度神经网络训练收敛性的新颖方法。与传统的SAM不同，CS-SAM不需要严格的光滑性假设，在广义光滑条件下分析扰动效应。所提出的方法统一界定了失真，并实现了非凸目标的确定性收敛速率以及Polyak-Lojasiewicz条件下的线性收敛。在计算机视觉任务上的实验结果表明，CS-SAM具有竞争力且测试精度高。