Guillaume Braun

谱梯度下降通过缓解失配来增强 AI 模型训练

一篇新论文介绍了一种名为谱梯度下降（SpecGD）的优化方法，该方法通过保留方向信息而丢弃尺度来增强深度学习性能。研究使用非线性相位恢复模型分析了 SpecGD 的有效性，该模型等同于训练一个两层神经网络。研究表明，SpecGD 缓解了由各向异性输入引起的失配问题，而各向异性输入会通过放大无信息方差方向来阻碍标准梯度下降。与传统的梯度下降相比，这可以实现更稳定的对齐和更快的降噪。