PulseAugur
中
实时 11:43:09

新EISAM优化器增强深度学习泛化能力

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员推出了一种名为“受外梯度启发的锐度感知最小化”（EISAM）的新型优化器，旨在提高深度学习的泛化能力。EISAM采用两步过程，包括预测和扰动步骤，以导航损失景观并找到更平坦的最小值。该方法旨在减少过拟合并提高在未见数据上的性能，其表现优于SGD和Adam等传统优化器以及标准的SAM。EISAM还显示出对扰动半径的敏感性降低，从而简化了调整并提高了跨各种架构和数据集的鲁棒性。 AI

影响 EISAM的泛化能力提升可能导致跨各种应用的更鲁棒、更准确的AI模型。

排序理由 该集群包含一篇详细介绍深度学习新优化技术的学术论文。

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新EISAM优化器增强深度学习泛化能力

报道来源 [2]

  1. arXiv cs.LG TIER_1 English(EN) · Yao Fu, Chunxia Zhang, Junmin Liu, Yihang Jin, Haishan Ye, Yuanao Yang ·

    Leveraging Extragradient for Effective Sharpness-Aware Minimization in Deep Learning

    arXiv:2607.06151v1 Announce Type: new Abstract: Generalization remains a pivotal challenge in deep learning, where traditional optimizers like Stochastic Gradient Descent (SGD) often converge to sharp minima, leading to overfitting and reduced performance on unseen data. Building…

  2. arXiv cs.LG TIER_1 English(EN) · Yuanao Yang ·

    利用外梯度实现深度学习中有效的锐度感知最小化

    Generalization remains a pivotal challenge in deep learning, where traditional optimizers like Stochastic Gradient Descent (SGD) often converge to sharp minima, leading to overfitting and reduced performance on unseen data. Building on Sharpness-Aware Minimization (SAM), for seek…

相关实体

相关话题