PulseAugur
中
实时 11:15:27
English(EN) Spectral Asymptotics of Neural Network Loss Landscapes: An Exact Decomposition of the Curvature Exponent

新的分解方法揭示神经网络损失景观动力学

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一种名为谱对齐分解（Spectral Alignment Decomposition）的新方法来分析神经网络损失景观中的曲率指数。这种分解揭示了控制Hessian特征值如何随梯度奇异值缩放的指数，会根据卷积和Transformer注意力等层类型而变化。这些发现还促成了一种自适应架构的预条件器Spectral Newton的开发，该预条件器在视觉基准测试上的表现优于AdamW。 AI

影响 为理解和优化神经网络训练动力学提供了一个新的理论框架，有望带来更高效的模型开发。

排序理由 该集群包含一篇学术论文，详细介绍了一种用于神经网络损失景观的新理论分解方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Anherutowa Calvo ·

    神经网络损失景观的谱渐近性：曲率指数的精确分解

    arXiv:2606.02596v1 Announce Type: new Abstract: The curvature exponent $\alpha$ in $h_k \propto \sigma_k^\alpha$ -- governing how Hessian eigenvalues scale with gradient singular values -- varies systematically across layer types ($\alpha \approx 2$ for convolutions, $\approx 1$ …

相关实体

相关话题