研究人员推出了一种新的深度神经网络优化方案，该方案利用动态 $\ell_p$-范数，超越了固定 $\ell_2$ 和 $\ell_\infty$ 范数的限制。这种新颖的方法，称为 LPSGD 和 LPSGDM，旨在通过在训练过程中调整范数参数 $p$ 来提高收敛性和泛化能力。该方法以较大的 $p$ 开始以管理高曲率方向，然后逐渐减小 $p$ 至 2 以获得更稳定的更新，理论上可为非凸问题实现 $O(T^{-1/2})$ 的收敛速率。 AI
影响 引入了一种新颖的优化技术，可以提高深度学习模型的训练效率和泛化能力。
排序理由 该集群包含一篇研究论文，详细介绍了深度神经网络优化方面的新理论方案和实验结果。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2606.02078v1 Announce Type: new Abstract: The existing optimizers for deep neural networks (DNNs) typically rely on either the $\ell_2$ norm or the $\ell_\infty$ norm, resulting in optimizers that do not adapt well to substantial changes in curvature across parameter dimens…
The existing optimizers for deep neural networks (DNNs) typically rely on either the $\ell_2$ norm or the $\ell_\infty$ norm, resulting in optimizers that do not adapt well to substantial changes in curvature across parameter dimensions. Generally, the training process of DNNs of…