PulseAugur
中
实时 02:04:51
English(EN) Explaining Near-Zero Hessian Eigenvalues Through Approximate Symmetries in Neural Networks

神经网络海森特征值由近似对称性解释

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员为神经网络中海森矩阵的众多近零特征值提出了一种新的解释。他们认为，这些消失的特征值源于网络参数化中的近似对称性，他们称之为弱提升伪戈德斯通模式。在深度线性网络中，这些对称性是精确的，导致了平坦方向和零模式。引入像ReLU这样的整流非线性会扰乱这些对称性，导致它们弱化。该研究在各种网络架构中展示了这种机制，包括一个两层学生-教师模型和一个在CIFAR-10上训练的网络，表明这些发现不仅限于全连接层，还扩展到卷积网络。 AI

影响 为理解神经网络中的损失景观几何提供了理论框架，可能有助于优化和模型设计。

排序理由 该集群包含一篇详细介绍机器学习新理论发现的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

神经网络海森特征值由近似对称性解释

本文如何被排名

Signal score
0 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
该集群包含一篇详细介绍机器学习新理论发现的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
paper, other
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
74 days old
Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Marcel K\"uhn, Bernd Rosenow ·

    通过神经网络中的近似对称性解释近零的Hessian特征值

    arXiv:2607.07845v1 Announce Type: new Abstract: The Hessian of the training loss governs the local geometry of the loss landscape, yet despite existing explanations for its largest eigenvalues, the origin of the vast multitude of vanishingly small eigenvalues remains elusive. We …

相关实体

相关话题