研究人员开发了一种新的优化技术，称为LLQR+SAM，它通过整合损失景观的几何信息来增强锐度感知最小化（SAM）的有效性。该方法使用来自LLQR框架的学习预条件器来指导SAM的参数扰动，专注于局部尖锐但全局平坦的方向。该方法旨在更有效地导航复杂的损失景观，与单独使用SAM或LLQR相比，在视觉和序列建模任务上取得了更好的性能。 AI
影响 引入了一种新颖的优化技术，可能导致更有效的视觉和序列模型训练。
排序理由 该集群包含一篇详细介绍新机器学习优化方法的学术论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
Sharpness-aware minimization (SAM) encourages flat minima by perturbing parameters along directions of high loss curvature, but treats all parameter directions uniformly, ignoring the underlying loss geometry. We introduce LLQR+SAM, which combines SAM with a learned preconditione…