新分析量化了SAM对平坦最小值的偏好

研究人员分析了机器学习中Sharpness-Aware Minimization（SAM）的隐式偏差，重点关注它如何促进更平坦的最小值以获得更好的泛化能力。一项新研究提供了定量分析，表明扰动半径$\rho$至关重要，并且与批次大小和学习率相互作用。研究结果表明存在一种权衡，其中$\rho$必须足够大以实现平坦性，但又必须足够小以实现稳定的训练。在CIFAR-100上使用ResNet-18和VGG-19进行的实验验证了这些预测，并引入了一种名为Taylor-Locality Controlled SAM（TLC-SAM）的新变体，以进一步减小Hessian特征值。 AI

影响 为优化技术提供了定量的见解，可能指导更鲁棒和可泛化模型的开发。

排序理由 学术论文，详细介绍了机器学习优化技术的理论分析和实验验证。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• CIFAR-100
• ResNet-18
• Sharpness aware minimization
• Taylor-Locality Controlled SAM
• TLC-SAM
• VGG 19

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →