PulseAugur
中
实时 12:44:55
English(EN) Beyond $\ell_2$-norm and $\ell_\infty$-norm: A Curvature-Inspired $\ell_p$-Norm Scheme for Deep Neural Networks

新的 $\ell_p$-范数方案增强深度学习优化

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员推出了一种新的深度神经网络优化方案，该方案利用动态 $\ell_p$-范数，超越了固定 $\ell_2$ 和 $\ell_\infty$ 范数的限制。这种新颖的方法，称为 LPSGD 和 LPSGDM，旨在通过在训练过程中调整范数参数 $p$ 来提高收敛性和泛化能力。该方法以较大的 $p$ 开始以管理高曲率方向，然后逐渐减小 $p$ 至 2 以获得更稳定的更新，理论上可为非凸问题实现 $O(T^{-1/2})$ 的收敛速率。 AI

影响 引入了一种新颖的优化技术，可以提高深度学习模型的训练效率和泛化能力。

排序理由 该集群包含一篇研究论文，详细介绍了深度神经网络优化方面的新理论方案和实验结果。

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

报道来源 [2]

  1. arXiv cs.LG TIER_1 English(EN) · Jianhao Xu, Zhuang Yang ·

    Beyond $\ell_2$-norm and $\ell_\infty$-norm: A Curvature-Inspired $\ell_p$-Norm Scheme for Deep Neural Networks

    arXiv:2606.02078v1 Announce Type: new Abstract: The existing optimizers for deep neural networks (DNNs) typically rely on either the $\ell_2$ norm or the $\ell_\infty$ norm, resulting in optimizers that do not adapt well to substantial changes in curvature across parameter dimens…

  2. arXiv cs.LG TIER_1 English(EN) · Zhuang Yang ·

    Beyond $\ell_2$-norm and $\ell_\infty$-norm: A Curvature-Inspired $\ell_p$-Norm Scheme for Deep Neural Networks

    The existing optimizers for deep neural networks (DNNs) typically rely on either the $\ell_2$ norm or the $\ell_\infty$ norm, resulting in optimizers that do not adapt well to substantial changes in curvature across parameter dimensions. Generally, the training process of DNNs of…

相关实体

相关话题