Spectral Newton

新的分解方法揭示神经网络损失景观动力学

研究人员开发了一种名为谱对齐分解（Spectral Alignment Decomposition）的新方法来分析神经网络损失景观中的曲率指数。这种分解揭示了控制Hessian特征值如何随梯度奇异值缩放的指数，会根据卷积和Transformer注意力等层类型而变化。这些发现还促成了一种自适应架构的预条件器Spectral Newton的开发，该预条件器在视觉基准测试上的表现优于AdamW。