Max-Sharpness

新的BSAM技术找到更平坦的神经网络最小值

研究人员推出了一种名为双边锐度感知最小化（BSAM）的新型优化技术，旨在实现神经网络中更平坦的最小值。与主要关注梯度上升方向最大锐度现有方法不同，BSAM还考虑了邻域内的最小锐度。这种融合了最大锐度和最小锐度的双重方法旨在提供更鲁棒的平坦度指标，从而在分类、迁移学习和姿态估计等各种任务中提高泛化能力和鲁棒性。理论分析表明BSAM收敛到局部最小值，实验结果显示其优于标准的SAM。