研究人员开发了一种新颖的锐度感知最小化（SAM）方法——梯度-能量自适应半径SAM（GEAR-SAM），旨在提高模型的泛化能力和鲁棒性。与基于瞬时梯度分配扰动预算的标准SAM不同，GEAR-SAM使用平方块梯度指数移动平均来在训练过程中动态调整此分配。该方法不需要Hessian-向量积或显式Fisher估计，除了标准SAM外，计算开销极小。在包括图像分类和噪声标签学习在内的各种任务上的实验表明，GEAR-SAM能带来改进的性能。 AI
影响 这项新的优化技术有望在各种应用中实现更鲁棒、更具泛化能力的AI模型。
排序理由 该集群包含一篇详细介绍优化机器学习模型新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
