研究人员推出了一种名为双边锐度感知最小化(BSAM)的新型优化技术,旨在实现神经网络中更平坦的最小值。与主要关注梯度上升方向最大锐度现有方法不同,BSAM还考虑了邻域内的最小锐度。这种融合了最大锐度和最小锐度的双重方法旨在提供更鲁棒的平坦度指标,从而在分类、迁移学习和姿态估计等各种任务中提高泛化能力和鲁棒性。理论分析表明BSAM收敛到局部最小值,实验结果显示其优于标准的SAM。 AI
影响 引入了一种新的优化方法,可以提高神经网络的泛化能力和鲁棒性。
排序理由 该集群包含一篇学术论文,详细介绍了一种用于神经网络的新优化技术。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Flatness Indicator Problem
- Hugging Face
- Jiaxin Deng
- Max-Sharpness
- Min-Sharpness
- Sharpness Aware Minimization
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →