PulseAugur
中
实时 12:03:09
English(EN) EMASAM: a Computationally Efficient Sharpness-Aware Minimization via EMA-Guided Perturbations

EMASAM 为模型泛化提供高效、稳定的 SAM 替代方案

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出了一种名为 EMASAM 的新型优化技术，旨在提高模型泛化能力并降低计算成本。与传统的锐度感知最小化 (SAM) 不同，EMASAM 在其扰动步骤中无需额外的梯度计算。它通过利用主模型与其指数移动平均 (EMA) 影子模型之间的差异来指导扰动，从而提供了一种更稳定、更高效的替代方案。 AI

影响 EMASAM 可能会降低机器学习模型的训练成本并提高其泛化能力。

排序理由 该集群包含一篇详细介绍机器学习模型新优化方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

EMASAM 为模型泛化提供高效、稳定的 SAM 替代方案

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Tanapat Ratchatorn, Masayuki Tanaka ·

    EMASAM：通过 EMA 指导的扰动实现计算高效的锐度感知最小化

    arXiv:2608.15105v1 Announce Type: new Abstract: Recent progress in optimization research has highlighted the sharpness of the loss landscape as a key factor in narrowing the generalization gap. Motivated by this insight, Sharpness-Aware Minimization (SAM) was proposed as a traini…

相关实体

相关话题