新的 $\ell_p$-范数方案增强了深度神经网络的优化

研究人员推出了一种新的深度神经网络优化方案，该方案超越了现有 $\ell_2$ 和 $\ell_\infty$ 范数的局限性。这种新颖的 $\ell_p$-范数方案在训练过程中动态调整 $p$ 的值，最初使用较大的 $p$ 来管理高曲率方向，然后逐渐将 $p$ 减小到 2 以实现更稳定的收敛。理论分析表明，该方法在非凸设置下可实现 $O(T^{-1/2})$ 的收敛率，并且在 CIFAR 和 ImageNet 等数据集上使用各种神经网络进行的实验证明了其有效性。 AI

影响 引入了一种新颖的优化技术，可以提高深度学习模型的训练效率和泛化性能。

排序理由 该集群包含一篇研究论文，详细介绍了用于优化深度神经网络的新理论方案和实验验证。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• CIFAR-10
• CIFAR-100
• Deep Neural Networks
• ImageNet-1K
• ResNet-18
• ResNet-50
• SGD
• SGD with momentum
• VGG-11

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →