PulseAugur
中
实时 08:05:47
English(EN) Explaining Near-Zero Hessian Eigenvalues Through Approximate Symmetries in Neural Networks

神经网络海森特征值由近似对称性解释

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员为神经网络中海森矩阵的众多近零特征值提出了一种新的解释。他们认为，这些消失的特征值源于网络参数化中的近似对称性，他们称之为弱提升伪戈德斯通模式。在深度线性网络中，这些对称性是精确的，导致了平坦方向和零模式。引入像ReLU这样的整流非线性会扰乱这些对称性，导致它们弱化。该研究在各种网络架构中展示了这种机制，包括一个两层学生-教师模型和一个在CIFAR-10上训练的网络，表明这些发现不仅限于全连接层，还扩展到卷积网络。 AI

影响 为理解神经网络中的损失景观几何提供了理论框架，可能有助于优化和模型设计。

排序理由 该集群包含一篇详细介绍机器学习新理论发现的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

神经网络海森特征值由近似对称性解释

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Marcel K\"uhn, Bernd Rosenow ·

    Explaining Near-Zero Hessian Eigenvalues Through Approximate Symmetries in Neural Networks

    arXiv:2607.07845v1 Announce Type: new Abstract: The Hessian of the training loss governs the local geometry of the loss landscape, yet despite existing explanations for its largest eigenvalues, the origin of the vast multitude of vanishingly small eigenvalues remains elusive. We …

相关实体

相关话题