Mersenne Numbers

SGD Provably Learns Spurious Features First in Neural Networks

一篇新发表在arXiv上的理论研究，探讨了随机梯度下降（SGD）在两层ReLU神经网络中学习虚假特征（spurious features）的机制。研究表明，SGD会优先并以指数级的速度学习这些虚假相关性，甚至在学习实际信号之前。该研究的分析揭示，优化动态可能会将虚假特征和信号特征耦合起来，从而可能阻碍真实信号的学习，尤其是在虚假相关性很强的情况下。